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La prSsente invention se refere d 1' Identification d s bac- 
tfiries par le moyen de reactifs specifiques, fournissant notamment 
lone indication visible -pouv I'operateur. 

On sait que pour une telle identification l*on utilise tr&s 
5 frSquemment une serie de tubes renfermant certains reactifs deter- 
Htin^s. On ensemence ces tubes S l*aide d*une culture de la bacterie 
^ identifier, on les maintient ai temperature tiede pendant un temps 
suffisant, eventuellement en les protegeant de 1' atmosphere par une 
couche superieure d'huile xnerte, puis on observe la coloration, 
10 par exemple, soit directement (le tube interesse renfermant dejS un 
indicateur colore), soit moyennant addition aprSs coup d'un indica- 
teur determine. Pour certains tubes 1' indication peut d'ailleurs 
consister non pas en une coloration, mais bien en la formation d'un 
depdt, d'un anneau, etc., De toute maniere apr^s le temps d'incu- 

15 bation prSvu, les divers tubes presentent ou ne presentent pas cer- 
tains caracteres faciles 5 x^lever ^ la vue et qui permettent de 
conclure qu'il s'est produit ou non certaines reactions particulie- 
res. En se basant sur 1* ensemble des resultats ainsi obtenus pour 
une bacterie incoimue et en se report ant a un tableau convenable- 

20 ment etabli, il est possible d' identifier au moins les bacteries le 
plus souvent rencontrees en mettant en oeuvre ^ cet effet un nombre 
limits de tubes, c'est-a-dire de reactions elementaires. 

Dans la realite les choses sont plus compliquees. En effet 
les caracteres qui permettent d' identifier les bacteries par le 

25 moyen d*une serie de tubes normalisee peuvent Stre de trois types : 
certains sont importants en ce sens qu*i]P presentent un haut degre 
de specif icite, d^autres au contraire sont douteux ou plus exacte- 
ment non specif iques parce quails peuvent apparaltre ou ne pas ap- 
paraitre pour une m§me bacterie suivant les conditions operatoires, 

30 enfin certains autres sont intermediaires en ce sens que s'ils sont 
en gSnSral spScifiques, done assez importants, il peut leur arriver 
de fa^on plus ou moins frequente de ne pas l*§tre» L'operateur doit 
done en fait suivre ligne par ligne le tableau des divers caract&res 
et des bacteries qu*ils identifient, en prenant soin de se baser d* 

35 abord sur les csu?acteres importants, puis sur les moins importants 
en nggligeant ceux consideres comme douteux, le tout pour aboutir 
soit ^ une identification stlre, soit I la conclusion qu*il faut pro- 
c'der ^ de nouveaux essais pour lever une incertitude residuelle. 
Le moins qu^on puisse dire est que pareille consultation du tableau 

^0 en fonction des resultats obtenus constitue un travail laborieux. 
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delicat et qui comporte de nombreux risques d'erreur. 

On a cherche ^ realiser un decodage automatique des resultats 
en affectant aux divers caracteres un certain coefficient tenant 
aon.pte du fait qu'ils sont important s, doutexix ou intermediaires . 
5 Mais 1' experience a d^montre qu'on n'arrivait pas ^ obtenir ainsi 
des conclusions suf fisanunent sQres et correctes. 

invention vise a rem^dier a ces inconvenients et d permettre 
d'etablir un appareil qui decharge I'operateur de tout travail de 
reperage entre les di verses lignes d'un tableau et par consequent 
10 de tout risque d'errexir. 

Suivant 1* invention, pour chaque bacterie envisagee, l*on di vi- 
se en trois groupes les caracteres relev^s ^ la fin des essais, sa- 
voir : 

- les caracteres douteux ou qui ne presentent pas en ge- 
15 ngral une specificite suffisante pour qu'on puisse se baser sur 

eux en vue de 1' identification sfire de la bacterie etudige, ces ca- 
racteres pouvant Stre positifs ou nggatifs ; 

- ceux des autres caracteres (c'est-a-dire les caracteres 
specif iques importants et ceux generalement specif iques, pour la 

20 bacterie etudiee) qui doivent donner un resultat positif , c'est-i- 
dire pour lesquels doit apparaltre le phgnom&ne visible attendu 
(changement de coloration, d6p3t, etc..,) ; 

- et enfin ceux de ces autres caracteres qui doivent donner 
au contraire un resultat nggatif . 

25 

Et I'on etablit des circuits electroniques qiii, negligeant de- 
libgrgment le premier groupe de caracteres, ne tiennent compte que 
du second et du troisieme, de maniere telle que lorsqu'on leur en- 
voie sans aucune distinction des tensions representatives de l»etat 
positif ou negatif des divers caracteres des trois groupes, ils puis- 
30 sent repondre en identifiant la bacterie etudige parmi celles pour 
lesquelles ils ont ete prevus. 

Les circuits electroniques peuvent notamment comprendre : 

- des touches individuelles correspondant aux- divers ca- 
racteres susceptibles d'etre releves, chaque touche comportant une 
position de repos qui correspond au signe negatif du caractere auquel 
elle est affectee et une position de travail correspondant au signe 
positif de celui-ci ; 

- un inverseur logique individuellement associe a chaque 

touche ; 
10 • ^ 

- un premier conducteur partant directement de chaque tou- 
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che po\ir transmettre ur» signal d'lin signe determine, par ex mple 
positif , quand celle-ci est 5 la position de travail ; 

- un second conducteur partant de chaque inverseur pour 
transmettre un signal de ce m§me signe quand la touche correspon- 

5 dante est ^ la position de repos ; 

- des portes electroniques dont les entrees sont reliees 
aux conducteurs pre cites de fagon telle que chaque porte ou groupe 
de portes reponde lorsque les signaux qu'il regoit correspondent S 
la combinaison de caracteres du second et du troisieme groupe qui 

10 identif ie xme bacterie parmi celles envisagees ; 

- et des moyens de signalisation de la reponse de la por- 
te ou du groupe de portes correspondent a chaque bacterie. 

Suivant une autre caracteristique de 1* invention, en vue de 
realiser une simplification considerable de I'appareillage elec- 

IStrique, on distingue parmi les caracteres positifs et/ou negatifs 
du second et du troisieme groupe certains ensembles qui se retrou- 
vent inchang6s pour plusieurs bacteries, on affecte une ou plusieurs 
portes a cet ensemble pour une seule des bacteries precitees et l*on 
renvoie la sortie de cette ou de ces portes a 1* entree de I'une des 

20 portes des autres bacteries comportant le m€me ensemble de carac- 
teres. 

Le dessin annexe, donne i titre d'exemple, permettra de mieux 
comprendre 1» invention, les caracteristiques qu*elle presente et 
les avantages qu'elle est susceptible de procurer : 

25 Fig. 1 reproduit partiellement un tableau utilise dans 

la pratique pour 1' identification de di verses bacteries a I'aide 
de reactions normalisees. 

Fig. 2 est un schema mohtrant les circuits electroniques 
utilises par application de 1' invention pour realiser cette iden- 

30 tif ication de f agon automatique . 

On a represente en fig. 1 un tableau de dix caracteres a S 2 
propres ^ permettre d* identifier quatre genres de bacteries A ^ D. 
II doit §tre entendu que dans la rSalite le nombre des caracteres 
peut ^tre beaucoup plus grand, de m§me d^ailleurs que celui des 

35 bacteries envisagees. Les signes utilises dans le tableau de fig. 1 
sont ceux qu'on peut trouver sur le tableau dit Vixotab de I'lnsti- 
tut Pasteur de Lyon. Les signes + et - cercles correspondent aux 
v,i»4.ciwLi;ies inrportants positifs et negatifs. Les signes + et - non 
cercles correspondent de leuv c6te aux signes encore importants, 
mais non specif iques. Le double signe + indique des caracteres le 
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plus souvent positif s , mais qui peuvent rester negatifs. Quant a la 
lettre d elle signale les caracteres douteux conmiuns a plusieurs 
bacteries et qu*on ne doit done considerer qu'avec circonspection* 
O.i congoit aisement que cette multiplicite de qualifications rend 

5 assez laborieuse 1^ interpretation des resultats d'un essai. 

Conformement i 1* invention, pour chaque bacterie envisagee 
I'on neglige deliberement les indications d en se limitant done aux 
+ et - cercles ou non* En d'autres termes pour chaque bacterie l*on 
divise les caracteres en trois groupes, savoir les incertains (d) , 

10 les suffisamment specifiques positifs et^ les suffisamment specifiques 
negatif s , le premier groupe etant laisse de e6te. 

Dans le schema de fig, 2 l*on a represente dix touches la ^ 
l2 qui corr»es pendent aux dix caracteres prevxis sur le tableau. II 
est convenu qu'une touche levee correspond I un ecu?act^re negatif 

15 et une touche abaissee i un caractere positif. Du contact fixe de 
chaque touche partun premier conducteur ou conducteur direct 2a i 
2j[ relie d la masse S travers une forte resistance de decharge 3a 
a 32, etant entendu que la masse represente le p61e negatif tandis 
que I'organe mobile de la touche cpnsideree est relie au pSle posi- 

20 tif. Le contact fixe de chaque touche est d' autre part relie d un 
inverseur Ha d »*2 ^^uquel part un second conducteur ou conductexir 
inverse 5a S 52 qui est done positif quand la touche est levee et 
negatif quand elle est enfoncee. Les conducteurs 2a-22 et 5a- 52 
constituent les barreaux horizontaux d'une grille. De certains de 

25 ces barreaux horizontaux partent des conducteurs ou barreaux verti- 
caux qui aboutissent a des syst^es de portes dent les sorties re- 
presentent les bacteries. 

C'est ainsi que des dix conducteurs ou barreaux inverses 5a a 
52 partent des conducteurs 6A qui aboutissent aux dix entries d'une 

30 porte 7A de type NET, la sortie de cette porte etant reliee au p61e 
positif a travers une diode electro- lumines cent e 8A et une resistan- 
ce 9A. On voit aisement que si les dix touches la a I2 sent S la po- 
sition levSe, les dix conducteurs 6A sent positifs et par suite la 
sortie de la porte 7A est negative, ce qui provoque I'allumage de la 

35 diode 8A. Or I'etat leve des dix touches correspond ^ I'etat negatif 
des dix caractdres du tableau de fig. 1, c*est-S-dire a la ligne ho- 
rizontale qui represente la bacterie A. Pour tout autre etat des 
Vouo^ifcs l*un au moins des conducteurs 5a a 52 est n%atif , de sorte 
que la porte 7A donne une sortie positive n'allumant pas la diode. 
L'allumage de 8A signale done que la bacterie recherchee est celle 
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A. 

Si I'on veut voir les choses sous I'angle algebrique, on peut 
ecrire pour la diode 8A qui represente la bacterie A : 

A = abcdeTghTJ (1 
5 La diode s'allume si la sortie de 7A est positive^ c'est-a-di- 

re si A = 0, ce qui correspond bien a A = 1. 

Pour la bacterie B, le tableau de fig. 1 indique deux caractS- 
res d et un caractere + qu*on neglige. On pourrait done ecrire : 
B=adefghi (2 
10 Mais on remarque que pour les caracteres d et e les signes sont 

les mSmes qu'en ce qui conceme la bacterie C. On se trouve done en 
presence d'un ensemble conunun ^ deux bacteries et qu'on peut desi- 
gner du nom de 0( . On ecrira done : 

B a cXd f g h i) (3 
15 avec o< « de . 

Pour representer la parenth^se on prevoit une premiere porte 
NET 7B1 dont les entrees sont respectivement reliees par des con- 
ducteurs 6B aux barreaxix 5a, 5f , Sg, 2h et 2i. D 'autre part, pour 
representer <X 1' on a pi»evu une seconde porte NET 7B2 que d'autres 
20 conducteurs 6B relient aux barreaux 2d et 5e. A la sortie de chacu- 
ne de ces portes 7B1 et 7B2 est associ6 un inverseur lOBl, 10B2. Les 
sorties de ces deux inverseurs sont reliees aux entries d'une troi- 
siSme porte 7B3 et c'est la sortie de cette demiere qui alimente 
la diode electroluminescente 8B ^ laquelle est IM encore associee 
25 une resistance 9B. 

II est facile de constater que 1 'ensemble des trois portes 7B^, 
7B2» 7Bg avec les inverseurs intermediaires lOB^ et lOB^ fonctionne 
exactement comme la porte unique 7A pour la bacterie A, c'est-§-dire 
que lorsque I'egalite (2 est satisfaite, la diode 8B s'allume pour 
30 signaler que les resultats releves correspondent a la bacterie B^ 
Mais on remarquera que la sortie de 1* inverseur lOB^ represente a 
la condition <X = de. En d' autre termes, lorsque I'egalite (4 est 
satisfaite, la sortie de IOB2 est positive, alors qu'elle est autre- 
ment negative* 

En ce qui conceme maintenant la bacterie C, on retrouve sur la 
ligne correspondante du tableau 1 'ensemble precite, mais on remar- 
que en outre sur cette m§me ligne que les trois caracteres g h i sont 
c'e ^«jc eigne pour cette bacterie et pour la bacterie D. II est done 
13 encore possible de faire apparaltre simplement cet nsemble. 
En d'autres tersnes, on peut ecrire : 



35 



*fO 
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Csabcdefghij (5 
ou 

C=cC{abcfghij) (6 
ou enfin 

5 C =otP (a b c f g j) {7 

avec a g h i (8 



En ce qui conceme oC , on le prelfeve a partir de la sortie de 
l*inverseur lOBj par le moyen d'un conducteur 11 qu*an amene S l*une 
des entrees d»une porte NET 7C^, les autres entrees de cette porte 
10 etant reliees aux barreaux respectifs 2a, 5b, 2c, 2f , 2i. II est 

d' autre part prevu une seconde porte TC^, egalement de type NET, dont 
les entrees sont reliees aux barreaux 2£, 5h, et 2i, A la sortie de 
chacune de ces deux portes 7C^, 70^ est associe un inverseur IIC^, 
IIC2 et les sorties de ces dexix inverseurs arrivent ^ une troisi&me 
15 porte NET 7Cg qui alimente une diode electro-luminescente 8C montee 
en serie avec une i^sistance 9C. 

II est facile de voir que la encore les deux portes 7C^ et 70^9 
les deux inverseurs IIC^ et IIC^ et la troisieme porte 70^ fonction- 
nent comme une porte unique qui remplit bien la condition prevue. 
20 Mais la sortie de 1' inverseur IIC^ repr^sente la condition : 
J3 = g h i (9 
Enfin pour la quatri^e bacterie D la condition a rgaliser est 
D = cefghi (10 
ou 

25 D = J3 (c e f) (11 

II suffit done de faire correspondre S cette bacterie D une 
porte NET unique 7D S quatre ent3?6es , la premiere etant reliee par 
un conducteur 12 h la sortie de 1' inverseur IIC2 pow amener la con- 
dition ]3 , tandis que les trois autres sont respectivement relies 

30 aux barreaux 2c, 2e et 2f . 

La encore § la porte 7D sont associeas une diode electro-lumi- 
nescente 8D et une r»esistance 9D. 

On comprend qu'on pourrait multiplier le nombre des bacteries 
en n^me temps que celui des caract&res, toujours en faisant ressor- 

35 tir, dans la mesure du possible, des ensembles de caracteres communs 
§ plusieurs bacteries en ce qui conceme leur signe et leur impor- 
tance, ces ensembles etant materialises pour I'une seulement des 
bacteries qui comporte chacun d'eux de maniere h ce qu*il suffise 
d'envoyer aux portes des autres un signal unique representant tout 

40 1' ensemble de caracteres envisage. 
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L'utilisation de I'appareil se comprend aisement: 
L'operateur lit sur ses tubes les resultats individuels de I'essai, 
sans avoir ^ se preoccuper de 1 'importance des caracteres. Si un tu- 
be donne un resultat positif , il appuie la touche ; si le resultat 

5 est n^gatif (absence du phenomene visible attendu) , il laisse la 
touche levee » A la fin de la manipulation du clavier, si une diode 
s'allume c'est que la preparation etudiee renferme la bacterie ^ 
laquelle cette diode correspond. Si aucune diode ne s'allume, alors 
il y a doute et les essais doivent §tre repris pour que I'on sache 

10 si la bacterie presente dans la culture n*est pas prevue par la me- 
thode ou si I'Schec provient de conditions experimentales defec- 
tueuses. II est i noter que I'examen du tableau d' identification 
qui conduit 3 I'etablissement du schema logique doit 8tre mene de 
telle manidre de I'alliimage simultane de deux diodes soit impossi- 

15 ble. 

II doit d'ailleurs $tre entendu que la description qui prece- 
de n 'a ete donnee qu'a titre d*exemple et qu'elle ne limite nulle- 
ment le domaine de 1' invention dont on ne sortirait pas en rempla- 
geuit les details d' execution decrits par tous autres equivalents. 

20 On comprend notamment que les portes NET peuvent €tre i»empla- 

cees par des portes ET ; il suffirait de realiser un schema logique 
different, mais correspondant aux m§mes equations booleennes. Les 
diodes 61ectro-luminescentes pourraient €tre remplacees par des 
relais electroniques ou Electro -magnet iques actionnant des circuits 

25 avertisseurs appropri^s. 



72 15163 



8 



2181543 



REVENDICATIONS 



1. Procede pour faciliter 1 'identification des bacteries a l*ai- 
de d'essais effectues par le moyen d'line serie normalisee de reac- 

5 tions, par exemple al l*aide de systemes S tubes multiples, avec appa- 
rition de phenomenes visibles par coloration ou autrement, chacun 
de ceux-ci constituant un caract^re positif ou negatif suivant que 
le phenom^ne apparcdLt ou n'apparait p£is, caracterise en ce qu'on 
divise en trois groupes les caracteres releves S la£Ln des essais, 

10 s avoir : 

- les caracteres douteux ou qui ne presentent pas en ge- 
neral une specification suffisante pour qu'on puisse se baser sur 
eux en vue de 1' identification store de la bacterie etudi€e, ces 
caractferes pouvant €tre positifs ou negatifs ; 

15 - ceux des autres caracteres (c*est-M-dire les caracteres 

specifiques importants et eeux gen^ralement specifiques) qui, pour 
la bacterie etudiee, doivent donner un r^sultat positif, c'est-a- 
dire pour lesquels doit apparaitre le phenomene visible attendu ; 

- et enfin ceux de ces autres caracteres qui doivent donner 
20 au contraire un resultat negatif ; 

et l*on etablit des circuits electroniques qui, negligeant de- 
liberement le premier groupe de caracteres, ne tiennent compte que 
du second et du troisieme, de maniex>e telle que lorsqu'on leur en- 
voie sans aucune distinction des tensions representatives de I'etat 
25 positif ou negatif des divers caracteres des trois groupes, ils 
puissent repondre en identifiant la bacterie etudiee paz^ celles 
pour lesquelles ils ont ete prevus, 

2, Appareil a circuits electroniques pour la mise en oeuvre du 
procede suivant la revendication 1, caracteris6 en ce qu*il comprend 

3^ la combinaison des Elements suivants dont certains au mo ins sont 
connus : 

- des touches individuelles correspondant aux divers carac- 
teres susceptibles d'etre releves pour les di verses bacteries envi- 
sagees, chaque touche comportant une position de repos qui corres- 

^5 pond d l*un des deux signes possibles du caractSre auquel elle est 
affectee et une position de travail correspondant a 1 'autre signe 
possible de celle-ci ; 

- un inverseur logique individuellement associe chaque 

touche ; 

- un premier conducteur partant directement du contact de 
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chaque touche pour transmettre un signal d'un signe donne quand celle- 
ci est abaissie ; 

- un second conducteur partant de chaque inverseur pour 
transmettre un signal de ce m€me signe quand la touche correspondan- 

5 te est levee ; 

- des portes ^lectroniques dont les entrees sont s^lective- 
ment reliees a certains des conducteurs precites de fagon telle que 
chaque porte ou groupe de portes reponde lorsque les signaux qu'il 
regoit correspondent H la combinaison de caract&res du second et du 

10 troisieme groupe qui identifie une bacterie parmi celles envisag^es; 

- et des moyens de signalisation de la reponse de la porte 
ou du groupe de portes correspondant ^ chaque bacterie. 

3. Precede suivant la revendication 1, cau?acteris€ en ce qu*on 
groupe en ensembles les caracteres du deuxieme et du troisieme grou- 

15 pe qui sont communs a plusietirs bacteries , et en ce qu*on traite cet 
ensemble comme un caractSre unique pour certaines au moins des bac- 
teries precit^es. 

Appareil pour la mise en oeuvre du proced^ suivant la reven- 
dication 3, caract^rise en ce qu*il comprend, pour I'une des bacte- 

20 ries comportant un ensemble de caract&res du second et du troisieme 
groupe commun ^ plusieurs de celles-ci, une porte ou groupe de 
portes qui regoit les signaux correspondant 3 ces caracteres de ma- 
niere ^ faire apparaltre un signal de sortie representatif de la 
presence ou de 1 'absence de celui-ci» ce signal ^tant envoye £i I'en- 

25 trSe de I'une des portes qui correspondent aux autres bacteries aux- 
quelles 1* ensemble de caracteres pr^cite est commun » de maniere ^ 
reduire le nombre d' entrees et 1 'importance de la c§blerie pour ces 
bacteries • 
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BASIC-ABSTRACT: Process for the identification, sorting and counting of 
microscopic particles, partic. micro-organisms of animal or vegetable origin 
includes the following sequential stages:-(l) samples are prepd. continuously 
and deposited in succession upon an advancing conveyor surface. The conveyor 
surface moves the samples into the field of view of a microscope providing 
images which are recorded by a video camera. (2) the recorded images are set 
against a squared pattern grid so that the image corresp. to each sample can be 
analysed according to pattern recognition techniques. (3) The resuhs of the 
analyses are subjected to statistical processing from which digital results are 
displayed and/or printed for the operator. 

Sample prepn. may include specific colouring. Samples can be deposited on to 
the conveying surface by continuous spraying or blowing. 

USE/ AD VANTAGE - Analysis of bacteria in milk or blood analysis in research of 
parasites, esp. malaria parasites. The process being completely automated 
eliminates human errors which can account for more than 20% inaccuracies when 
laborious research is undertaken including thousands of samples. 
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La present Certificat d'Addition concerne des prScisions 
apportees ^ la mise en oeuvre du procSde decrit au Brevet Principal, 
ce precede ayant pour objet 1 ' identification , le tri et le compta- 
ge enti&rement automatiques de particules de tres petites dimensions 
et notamment mais non exclusivement des micro-organismes d*origine 
animale ou vSgetale, ainsi que 1 ' exploitation des rSsultats 
obtenus dans des domaines aussi varies que les analyses biologi- 
obtenus dans des domaines aussi varies que les analyses biologi- 
ques telles que celles du lait ou du sang, les controles automati- 
ques de pollution bactSrienne, par exemple dans le pilotage 
automatique des stations d'Spuration d'ef fluents industriels ou 
d^eau potable, ce procSde se caract^risant par sa precision, sa 
rapidity et son bon march^. 

Ainsi qu'il a gte indiqug au Brevet Principal, divers 
procedgs visant a atteindre des resultats semblables sont connus. 
Par exemple, dans le cas de l^analyse du sang humain, le processus 
usuel consiste dans un premier temps 1 preparer manuellement 
chaque ichantillon par divers traitements m^caniques et/ou chimi- 
ques, puis I 1* examiner au microscope de mani^re ^ analyser et 
compter les divers elements cellulaires recherches. Cette techni- 
que est longue et laborieuse et comporte cependant un taux 
d'erreur admis entre 20 et 30 %* 

De meme, pour analyser et compter les bactSries pr^sentes 
dans un liquide, I'opgrateur doit pr^lever des Schantillons du 
liquide, puis procSder sur chacun S des cultures permettant de 
faire apparaitre les bacteries, ce qui provoque des d§lais de 
plusieurs heures, et enfin analyser et compter ces bacteries par 
reference S des formes connues, avec les memes limitations et 
inconvgnients que ci-dessus. 

Plus generalement , il n*existe pas de proced€ automatique 
et repetitif permettant d'obtenir les resultats cherches de 
maniSre rapide et continue, tout en Svitant I'erreur humaine • 

L^invention permet d'atteindre ce rSsultat par la mise 
en oeuvre d'une succession d'operations dont le principe est 
individuellement connu pour d'autres applications, mais qui sont 
ici combinees et adaptges l*une S 1* autre en vue de ce nouveau 
r^sultat, ces operations etant enumSries au Brevet Principal : 

La premiere operation consiste el preparer et S. deposer 
de maniere automatique et continue une succession d* ecbantillons 
sur un support continu, en les rSpartissant sur un trajet d'explo- 
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ratioa d*un systeme d* enregis trement de tous les g chant il Ions 
successifs par une camera vid€ . 

La seconde operation consiste dans ledit enregistrement 
par la camera vidio de 1' image donnSe par un microscope » compor- 
5 tant des elements optiques particuliers • 

La troisi^me operation consiste dans la decomposition 
de 1 'image de chaque Schantillon suivant un dgcoupage quadrille 
comportant un certain nombre de.lignes et colonnes, d^finissant 
pour chaque echantillon un certain nombre de zones bien identifiSes 
10 ou "pixels", en vuc de 1' analyse de chaque Schantillon conformfiment 

S des tecliniques classiques en elles-mSmes. 

La quatri^me operation consiste dans ladite analyse 
d' image en fonction du niveau d* ^clairement de chaque pixel, au 
moyen d^un ordinateur, dent les rgsultats d' analyse sur tous les 
15 echantillons sont trait€s s tatis tiquement puis digitalises sur 

imprimante, ce qui permet, non seulement de counaitre 3. tout 
moment le resultat de 1' analyse, mais au surplus de suivre avec 
le temps 1* Evolution de ce r§sultat» 

La mise en oeuvre de ces diverses operations appelle 
20 toutefois un certain nombre de commentaires , qui font I'objet 

de cet Additif : 

Commentaires sur la premiere operation : 

Chaque echantillon subit une preparation physico— 
chimique, en amont de la phase de dgpot sur le support. Cette 
25 preparation est comparable aux traitements usuels pour le produit 

considiri, mais moyennant certaines modifications • 

Ainsi dans les techniques anterieures, par exemple la 
phase de "coloration" n'avait pour but que de rendre visiblcs 
toute une catSgorie de cellules telles que les bactSries, sans 
30 prgjuger de leur etat de dgveloppement ou de mort. Selon la 

pr^sente invention, la coloration a pour but d^indiquer I'gtat 
viable de certaines cellules et de les visualiser sans colorer 
les artefacts. 

De meme, aprSs la coloration, 1 ' application d'un 
35 traitement d* epif luorescence (en g^niral en rayonnement UV par 

dessus) , dont la rg-emission est filtree permet la mise en Evi- 
dence de toutes les cellules contenant un noyau, tandis qu'un 
traitement d* ijnmunof luorescence permet de les extraire de fagon 
spgcif ique . 

40 Enfin, chaque echantillon est dgposE automatiquement 
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par pulverisation ,ou parsoufflage sur le support continu, sou$ 
forme de gouttes calibr^es d'tpaisseur et de diam^tre constants* 
Ces gouttes sont reparties de fagon rSguli^re et homog^ne sur le 
support, pour etre vues successivement par la camera- Dans une 
premi&re realisation, le support est un disque horizontal tournant 
autour de son axe, et les gouttes sont d^posSes en cercles concen- 
triques^ de maniere S ^tre explorees soit suivant lesdists cercles 
successifs, soit par une exploration alternat ivement radiale et 
circulaire. Selon une seconde realisation, le support est une 
bande continue se deroulant depuis un rouleau d'alimentation et 
s'enroulant sur un rouleau recepteur, le tout etant logg dans une 
cassette jetable. Cela elimine la ngcessitg de laver le support 
comme dans le cas du disque. En ggnSral, 1 mm3 reprgsente le 
nombre de gouttes dont le rgsultat statistique est P3fis comme 
valeur pour un gchantillon, et ainsi de suite pour les suiyantes. 
Bien entendu, aprSs chaque mesure, le support 'subit un lavage, 
controle automatiquement . 

Commentaires sur la seconde operation : 

Le systSme utilise comprend la combinaispn d'un micros- 
cope equipe d'une optique ispgciale, et d'une camera vidSo, dont 
la photo est transmise S un mini-ordinateur en vue de la troisi&me 
operation* Ce microscope transmettant des informations en continu, 
il etait done n€cessaire d*en assurer une mise au. point correcte 
en permanence. A cet effet, il est pr€vu entre I'objectif et le 
support d'Schantillons une vis micromStrique garantissant une 
focalisation mScaniqu^ constante. Ce microscope est de preference 
eclaire en UV directs, puisque 1 ^observation est photographiee 
par la camera, qui pent recevoir davantage de lumiere que I'oeil 
humain. 

Commentaires sur. la troisiSme operation: 
La photographie de 1 * &cbantillon par la camera est 
transmise a l*ordinateur qui va procSder S son analyse conformement 
a des techniques complexes mais bien connues, Be ce fait il 
n*est pas nScessaire de developper la description de ces techniques. 
On se bornera done a rappeler que l^image gtant envoy€e en 
mSmoire dans I'ordinateur ("acquisition"), on determine d'abord 
la valeur minimum de 1 ' eclairement d'un pixel coxrespondant a 
une particule a prendre en consideration ("seuillage") , puis, ce 
seuil etant fixe pour un echantillon, on determine le contour de 
chaque particule. On notera toutefois que c'est en particulier 
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par 1' exploitation de cette technique que le procedfe de 1' invention 
se diffgrencie fondamental m nt des t chniques manuelles classi- 
ques, qui se bornaient a une comparaison visuelle avec une sSrie 
de formes donnges. Cette difference se traduit a la fois par la 
precision et la rapiditg des opgrations, par opposition a la 
simple commparaison. visuelle, lente, imprgcise et source d'erreurs. 

La phase suivante de cette opgration est le tri entre 
les particnles ainsi definies par leurs dimensions et leurs 
formes. Ce tri s'effectuant pour chaqne goutte. les rSsultats de 
toutes les gouttes sont ensuite traites statistiquement , ce qui 
assure la prgcision des informations recueillies.aussl bien 
en un moment dgterming que dans leur gvolutipn dans le temps. 

Bien entendu, la technique ggngrale del 'analyse 
d'image ou de forme ("pattern recognition") etant devenue 
classique, toutes les opgrations auxiliaires ggalement connues 
dans cette technique sont utilisables. telle que le prgtraitement 
de I'image en vue de I'glimination des "bruits de fond", pour 
bgngf icier d' une image plus nette. le filtrage, la dilatation. 
I'grosion ou la squelettisation de I'image, ces techniques 
pouvant intervenir dans des cas spgcif iques. 

On va maintenant illustrer I'invention en se rSfgrant 
a deux exemples d' applications pratiques de ce procgdg. 
Exemple 1 . 

Dans cet exemple, le -procSde selon I'invention est 
appliqug a la recherche des bactgries dans le lait. 

Dans ce cas, la premiSre opgration comporte la coloration 
de I'Schantillon au moyen d'acridine orange a pH 6. Dans la 
goutte vont alors apparaitre : les globnles de graisses, non 
colorgs, les leucocytes vivants, de forme semblables aux globules 
de graisse,mais qui en sont diffgrencigs par leur coloration, 
les bacilles, en forme de batonnets, et les coques en forme de 
ronds, apparaissant avec ou sans acide ribonuclgique (ARN) en . 
cours de "mort" et acide desoxyribonuclgique (ADN) revivif iables . 
On connait done ainsi dSs lors le nombre de germes totaux et le 
nombre de leucocytes, que I'on identifie par epif luorescence , 
par eclairage par desaus a UV < 400 p, avec rggmission d'un 
spectre vers 600 nano p que I'on pent filtrer. 

On pent alors, dans les bacilles. rechercher le 
Clostridium butyricum et le pseudomonas fluorescens. Pour les 
extraire on utilise I'immunofluorescence avec un serum correspon- 
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dant au germe cherchg et un colorant specifique* 

On proc&de alors aux operations suivantes sur I'Schan- 

tillon, toujours a basse temperature.: 

a On obtient les germes totaux en ajoutant a l*echan~ 

tillon 1 % de cyanure et 10 % d'acridine orange, et en soumettant 

des gouttes du produit de reaction aux operations 2 et 3* 
b On obtient le pseudomonas seul en reconimencant 

I'essai £5 mais sans colorant. 

On obtient le Clostridium seul en recommencant ji, 

mais en ajoutant S la fois I'acridine orange et le serum spScifi- 

que colore. 

Quel que soit le processus a., lb ou c_ choisi, on 
photograpbie alors 1' image donnee par le microscope par une 
camera, la photo ^tant transmise en nSmoire d'ordinateur sous 
forme d'un rectangle dScoupg par 512 lignes et 512 colonnes» 
soit 262144 points ou pixels. La profondeur de chaque point 
c'est~a-dire la quantite de lumiere regue, est representee par 
un chiffre ou "bit". Dans le cas present , on utilise six bits, 
soit 64 niveaux, le zero correspondant au noir et le 63 au 
blanc. Les images, Stant des objets ^claires, se d^tachent sur 
fond noir (aux parasites pr^s) • Au depart d*une operation d'analy- 
se,' on fixe la yaleur minimum d' eclairement (seuil) S partir de 
laquelle un point va etre decompte comme element d^objet. Ce 
"seuillage" ^tant fix^, on passe i la phase "contour", c'est-^- 
dire la determination du perimetre de chaque objet, et on reper- 
torie tous les objets dans un tableau, dans lequel, selon les 
coordonnees de chaque pSrim^tre, on en determine un certain 
nombre de parametres, tels que la "plus grande longueur", ainsi 
qu' un "facteur de forme", qui, h partir du cercle, pris arbitrai- 
rement pour » 1 , conduit si separer les objets "longs" des objets 
"ronds". On trie alors dans le tableau les seuls objets interessant 
en fonction des parametres choisis, et les resultats sont enfin 
trait€s statistiquement , pour chaque goutte et pour I'ensemble 
des gouttes. Dans le cas present, 1 'analyse d'une goutte repre- 
sente une seconde et demi, avec un pourcentage admis d'erreur de 
5 %- Ces valeurs sont E rapprocher des durees, et de la marge, 
d'erreur admises jusqu'a present, et elles resultent de I'automa- 
tisation complete: des operations. 

Exemple 2 : Analyse du sang. 

L ' application du procede de 1' invention permet dans ce 
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cas non seulement d'gvaluer avec rapiditg et precision les 
cellules proprement dites, c'est-a-dire les globules rouges et 
les globules blancs, mais ggalement de dgceler et de compter 
automatiquement les parasites qu'ils coatienueut , et qui n'avaient 
jamais pu fairs I'objet d'une telle operation antgrieurement en 
raison de leur trfes petite taille. Ainsi par exemple, grace t 
I'invention, il est maintenant possible de procSder ^ la recher- 
che et au comptage automatique des parasites du paludisme dont 
la dimension est de I'ordre de 2 microns. 

Plus precisgment, 1* analyse du sang par le procgdi 
selon I'invention est r^alisee en suivant le processus suivant : 

En premier lieu, le dSpot sur le support est effectug 
de maniSre continue et automatique par pulverisation ou soufflage. 
Cela reprgsente un progres par rapport aux techniques antgrieures 
ou chaque goutte de sang gtait gcrasge entre un support et une 
plaquette de verre, ce qui detruisait , ou alterait les cellules. 

La phase de coloration I X'acridine orange I pH 6 a 
pour rgsultat une dif f erenciation entre les globules rouges qui, 
gtant sans noyau, ne contiennent ni ARN ni ADN et demeurent done 
non colorgs, tandis que, au contraire, les globules blancs, 
gtant vivants, contiennent un noyau et diverses inclusions, qui 
prendront des colorations diffgrentes (ADN pour le noyau, ARH 
pour les inclusions) . 

Par contre, dans le cas de la prgsence de parasites 
sanguins a I'intgrieur d*un globule rouge, ces parasites seront 
mis en gvidence par coloration car ils contiennent de I'ADH et 
de I'AKN. 

On procSde S I'analyse d'image conformement aux 
techniques ggngrales gvoquees precedemment , mais en prenant en 
compte la complexitg des "objets". 

En effet, si les globules blancs, colorgs, sont bien 
connus et faciles a identifier et a compter, a partir de leur 
contour, on trouve, a l»intgrieur de ce contour extgrieur un ou 
plusieurs contours intgrieurs, constituant des noyaux, a I'intgri* 
desquels, on pent dgceler encore d'autres constituants . II 
devient alors possible, en fonction du nombre d'objets ainsi 
dgcelg, d'identifier et compter diffgrents types de constituants 
polynucleaires. 

II en est de meme pour les parasites des globules rou- 
ges, ce qui reprgsente une grande originalitg du prgsent procedg. 
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Ainsi par exemple, le parasite du paludisme se prgsente sous 
forme d'un anneau ouvcrt (ARN) portant a ses deux extremitSs 
des excroissances ou chatons (ADN) , ce qui, malgrg leur tres 
petites dimensions (2 microns) permet.pour la premiere fois leur 
comptage automatique et continu dans le sang soumis S I'analyse. 

Les applications de ce nouveau proc^dg, qui ont -€te 
gvoquees au dgbut, sont en fait pratiquement illimitees* et 
notamment dgpassent le simple comptage.de particules dans un 
liquide. Ainsi on peut en envisager 1' application au tri et au 
comptage de defauts de surfaces dans des matgriaux solides- 
L'adaptation de ce procede S de telles applications ainsi qu'a 
d'autres fera I'objet de futurs additifs au present brevet. 
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REVENDICATIONS 

1. Procedil pour 1 ' identification, le tri et le comptage 
continus et automatiques de particules de petites dimensions, 
selon la revendication 1 du Brevet Principal, caractSrise en ce 
qu'il consiste, dans une premiere operation a preparer et 
diposer de maniere continue une succession d'echantillons sur 
un support en d^placement continu, en les rSpartissant sur le 
trajet d ' exploration d'un systSme d'enregis tremcnt par une 
camera vidgo des images de ces echantillons donnecs par un 
microscope, dans une seconde operation, & procgder audit enregis- 
trement, dans une troisifeme operation h decomposer 1' image de . 
chaque Schantillon suivant un d^coupage quadrillg en vue, dans 
une quatriSme operation de I'analyse de ladite image conformgment 
aux techniques dites de "pattern recognition", et enfin I 
traiter statistiquement les rgsultats de cette analyse, ^ les 
digitaliser et a les dSlivrer matSriellement a I'opgrateur, 

2. Proc€dg selon la revendication 1, caracterisg en ce 
que la preparation intervenant dans la premi&re operation 
consiste en une coloration spgcifique, suivie d»une observation 
par epif luorescence • 

3. Procgdg selon la revendication 1, caract€risS en ce 
que le d§p6t de 1 'gchantillon sur le support est effectug par 
pulvSrisation ou soufflage continu. 

4. Procedg selon les revendicatlons 1 a 3, caracterisg 
en ce que ledit support continu est un disque de verre tournant 
aiitour de son axe vertical, et subissant un lavage continu. 

5. ProcSdS selon les revendications 13 3, caract§.rise 
en ce que ledit support est une bande continue se dSroulant 
d*un premier rouleau et enroulg sur un second rouleau aprgs un 
seul usage, cette bande etant enfermSe dans une cassette jetable. 

6. ProcedS selon I'une quelconque des revendications 1 
a 5, caractSrisg en ce que le microscope est gquipg de moyens 
assurant sa mise au point automatique permanente sur 1 '€cbantillon 
7^ Procede selon I'une quelconque des revendications 1 

a 5, caractgrisg en ce que le microscope est eclair^ en DV, 
8^ Procgde selon l^une quelconque des revendications 

prgcgdentes, caractgrisS en ce que le colorant utilise dans la 
premiare operation est I'acridine orange et/ou un serum spScifi- 
que colorg. 
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9. Application du procede selon les revendications 1 h 
8, I la recherche des bact§ries dans le lait. 

10, Application du procidi selon les revendications 1 S 

8 a I'analyse du sang et plus sp^cialement 1 la recherche, dans 
5 le sang, des parasites tels que le parasite du paludisme* 
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INT-CL(IPC): G02B021/00 

ABSTRACTED-PUB-NO: JP09179030A 

BASIC-ABSTRACT: The microscope has a light source part (1) from which light is 
supplied. A condenser lens cylinder (2) condenses light to a desired angle. A 
mirror cylinder (3) reflects light fi-om the condenser cylinder. The light rays 
are reflected by a stage (6) through an objective lens (7) along an optical 
axis (B). A condenser part (4) is formed to the lower part of the stage. 

An excitation filter (23) and a frost filter (22) adheres to the condenser 

part. An absorption filter (41) which is switched ON or OFF is provided in the 

lower part of a tubular part (8) on the optical axis. 

ADVANTAGE - Provides easy diagnosis of malaria. Reduces degree of fault 
diagnosis. 
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BASIC-ABSTRACT: The method involves digitising the micro-organism image formed 

by a microscope (1), using an image processor (2). An image forming unit picks 

up information about the external structure of a microbial cell and forms an 

image. The image is digitised and converted to image data which is classified 

by a classification unit. The image data is stored in a memory. The image 

processor obtains a main curve of the microbial cell based on the stored image 

data. A shortest line joining the ends of the main curved and longest 

perpendicular line extending fi*om the shortest line to the curve are obtained. 

The eccentricity of the microbial cells is calculated from the length of the 

longest perpendicular line and the main curve. The micro-organism is 

classified based on its eccentricity. 

ADVANTAGE - Enables comprehending existence of harmfial micro-organism in short 
time. Assists in development of database of microbes. 
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ABSTRACT: 

The method includes optical detection of the sample (13) as a result of image 
data; identification and location of the objects (14) in the detected image 
data; and the automatic identifying of the located objects (14) by the 
automatic comparison of the respective located object, with a determined group 
of reference objects. The reference objects are selected from a large group of 
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reference objects on the basis of the coarse characteristics of the located 
objects (14), obtained from the image data. The identified objects (14) are 
counted according to the respective types; and the counted objects (14) are 
entered in the type list (48). The system for carrying out the method includes 
a camera type system (16), a locating unit (40), an identifying unit (44) and a 
counter (46). USE/AD VANTAGE - Ecosystem investigations. Subjective analysis 
is excluded. Automatic identification and analysis of specimens including 
bacteria from 1 micron size. Cluster of objects can be examined with 
background taken into consideration. 
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@ Verfahren und Vornchtung zum Erstetlen einer Artenliste fur eine flussige Probe 

(g) Die Erfindung betrifft ein Verfahren und eine Vornchtung 

zum Erstellen einer Artenliste (48) fur eine flussige Probe mit 

ggf. form- und/oder ortsveranderlichen Objekten unter- 

schiedlicher Arten zur Ermittlung des okologischen Zustan- 

des der Probe. Die Vornchtung weist eine Bildaufnahmevor- 

richtung zum opttschen Erfassen der Probe als Folge von 

Bilddaten auf. Ferner ist eine Lokalisiereinrichtung (40) zum 

Erkennen und Lokalisieren der Objekte in den erfa&ten 

Bilddaten sowie eine Identifizierungseinrichtung (44) vorge- 

sehen, die zum automatischen Identifizieren der lokalisierten 

Objekte dient. Die Vornchtung weist weiterhin eine Zahtein- 

richtung (46) zum Zahlen der identifizierten Objekte nach der 

jeweiligen Art sowie zum Eintragen der gezahlten Objekte in 

die Artenliste (48) auf (Fig. 2). Die Identifizierungseinrichtung 

umfafit dabei eine Sucheinrichtung, die die lokalisierten 

Objekte mit einer Gruppe von Referenzobjekten vergleicht, 
" die sich aufgrund von aus den Bilddaten gewonnenen 
f Grobmerkmalen des lokalisierten Objektes aus einer groBe- 
^ ren Gruppe von Referenzobjekten ergeben. 
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Beschreibung 

Die Erfmdung betrifft ein Verfahren und eine Vor- 
richtung zum Erstellen einer Artentiste fQr eine flOssige 
Pr be mit ggf. f rm- und/oder ortsveranderlichen sich 5 
Z.T. gegenseitig Qberdeckenden und Qberlappenden 
Objekten unterschiedlicher Arten zur Ermittlung des 
dkologischen Zustandes der Probe. 

Ein derartiges alterdings manuelles Verfahren ist aus 
der Praxis bekannt Es dient zur Untersuchung von be- 10 
lebten Schldminen uiL Biomassen, zur Bestimmung von 
Gewftssergfiten und/oder zur Oberwachung biologi- 
scher Abwasserreinigungssysteme. Zu diesem Zweck 
wird das Okosystem 'l}elebter Schlamm* untersucht, das 
einen deHnierten Raum mit generell gleichen Eigen- 15 
schaften darstellt. der in den Lebensraum, das nicht le- 
bende Biotop, and in die Artengemeinschaften oder die 
Lebensgemeinschafvdie Biozdnose zerf ailt 

Die Biozdnose setzt sich aus unterschiedlichen Arten 
zusammmen. die sehr verschiedene Objektdichten auf- 20 
weisen. DarOberhinaus reicht die GrdBe der Objekte, zu 
denen Algea Pilze, Protozoen und Metazoen zflhlen. 
von \\im (Bakterien) bis zu mehreren mm (IGeinstlebe- 
wesen). Pro Probe finden sich bis 100 und mehr Objek- 
tarten und je Art von einem Objekt bis zu mehreren 25 
tausend Objekten. 

Weiterhin finden sich in der Probe nicht nur lebende 
Objekte. sondem auch sonstige Partikel, wie Rocken, 
Fasem, Haare etc 

Mit "Art* oder "Arten" werden im folgenden Text 30 
s&mtUche Objekte des Okosystems bezetchnet, also bei- 
spielsweise sowohl Organismen als auch F1ocken« Haare 
etc- 

Zweck der Untersuchung ist es, Aussagen Qber Vor- 
g schkhte. Zustand und wahrscheinliche Weiterent- 35 
wicklung des Okosystems machen zu kdnnen. Weiterhin 
geht es urn die Oberwachung des Betriebsablaufes und 
um einen X^esundheitscheck" des Okosystems eines 
biologischen Abwasserreinigungssystems. Die Im Rah- 
man der Untersuchung gewonnenen Aussagen werden 40 
g nutzt, um die betriebstechnischen und die chemisch- 
physikalischen Daten der Anlage zu bestdtigen und/ 
oder zu erg^en bzw. im Falle eines Stdrfalles gezielt 
weitere Untersuchungen zu veranlassen. Die Daten 
werden weiterhin zu einer Langzeituntersuchung der 45 
Biozdnose der jeweiligen Antage verwendet 

Im Rahmen dieser Untersuchungen ist es erforderlich, 
eine Artenliste sllmtlicher Objekte in einer Probe (z. B. 
50 ^1) zu erstellen und auszuwerten. Das Erstellen der 
Artenliste wird zur Zeit von Personal mit unterschiedli- 50 
cher Vorbildung vorgenommen. das dazu ein Mikro- 
skop und ggf. eine CCD-Kamera mit Videorekorder zur 
Dokumentation der untersuchten Proben verwenden. 

Die Einordnung der unterschiedlichen Objekte in die 
verschiedenen Objektklassen oder Arten ist grdBten- 55 
teils Wissens- und Erfahrungssache. wobei die dabei 
verwendeten Methoden je nach dem Erfahningsstand 
des mit der Untersuchung Beauftragten sehr unter- 
schiedlich sind NaturgemaB ist auf diese Weise nur eine 
sehr unvoUstflndige Datenerfassung mdglich, die ledig- 60 
lich ein Teil der zu untersuchenden Biomasse repr^en- 
tiert 

Die auf diese W is erstellte Artenliste wird f Qr eine 
Fortschreibung der Langz itflberwachung (Popula- 
tionswachstum der einzelnen Arten; Rockenbildung 65 
und -alter; fComplexitilt der Biozdnose; Sauerstoffge- 
halt anhand von Indikat rorganismen; Saprobi n-Stu- 
fen als Index fOr die Wassergilte) in einen Computer 
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eingegeben und zur Erkennung von periodischen Pro- 
z ssen schon im frQhen Stadium verwendet W iterhin 
fahrt der Computer eine Modellersteilung der Biozdno- 
se durch, um die spezifischen Abhflngigkeiten zwischen 
den Arten zu bestimmen und um so zwischen normalen/ 
ublichen Verindeningen der Biozdnose einerseits und 
von auBen hervorgenifenen Abweichungen anderer- 
seits unterscheiden zu kdnnen. 

Mit dem insoweit beschriebenen Untersuchungsver- 
fahren werden nicht nur fCl^ranlagen aberprQft, auch 
natQrliche Okosysteme wie Seen, Fhisse, Meere etc 
werden damit untersucht/ilberwacht 

Das vom Menschen durchzufOhrende Erstellen der 
Artenliste bedingt nicht nur den limitierenden Zeitfak- 
tor sondem auch eine unerwtinscht hohe Fehlerrate. 
Daraberhinaus ist die auf diese Weise gewonnene Da- 
tenmenge fOr einen umfassenden Oberblick Qber den 
Zustand des jeweils untersuchten Okosystems oft viel 
zu gering. 

Lediglich der Vollstindigkeit halber sei hier erwahnt, 
daB eine umfassende chemische Analyse von Belebt- 
schiammen zwar mdglich ist. aber noch Iftnger dauert als 
die eingangs beschriebene Bestimmung unter Heranzie- 
hung einer vom Menschen erstellten Artenliste. 

Nun ist es zwar bekannt. Fluoreszenzmikroskope mit 
Kamerasystemen zu verwenden, die Proben sind hier 
jedoch fast ausschlieBlich zweidimensional und trocken. 
RQssige Proben mit bewegten Objekten kdnnen mit 
solchen, insbesondere in Forschungslaboratorien zu fm* 
denden Systemen. nicht untersucht werdea 

Weiterhin ist es bekannt. auf einem Fdrderband trans- 
portierte Gegenstande, wie z. B. Schrauben etc mit Hil- 
fe eines Handhabungsroboters zu sortieren, wobei der 
Roboter Qber ein Bildverarbeitungssystem angesteuert 
wird. Das Bildverarbeitungssystem sucht nach ge- 
wOnschten (fehlerfreien) Objekten. die der Roboter in 
entsprechende vorgegebene Kflsten transportiert Hier 
hat der Rechner also eine Wiederfinderungserwartung 
bezQglich der zu sortierenden Objekte, d. h. es ist ledig- 
lich eine Ja/Nein-Entscheidung zu treffen,ob das Objekt 
mit einem im Rechner gespeichcrten Referenzobjekt 
abereinstimmt En derartiges Bildverarbeitungssystem 
sucht also nach gewQnschten Objekten, wflhrend es im 
Falle der Erstellung der Artenliste um ein Identifizieren 
unbekannter Objekte geht, deren Lage im Raum beiie- 
bigseinkann. 

Darilberhinaus kdnnen die Objekte in den zu untersu- 
chenden flilssigen Proben auch als Gusterobjekte auf- 
treten. Unter Clusterobjekten werden hier mehrere zu- 
sammenhftngende Objekte verstanden, z. B. kdnnen sich 
an einer Rocke mehrere Mikroorganismen anheften, so 
dafi ein Clusterobjekt entsteht, das aus unbelebten und 
belebten Objekten ggf. verschiedener Arten besteht 
Die Objekte eines derartigen Gusterobjektes kdnnen 
sich daraberhinaus gegenseitig bedecken bzw. Qberlap- 
pend vorliegen oder gar miteinander verflochten sein, 
so daB zunachst eine Trennung des Clusterobjektes in 
die einzelnen Objekte erforderlich ist Wie bereits er- 
wahnt, bewegen sich einige der Objekte in der Probe, 
d. h. die Objekte sind ggf. orts- und formver&nderlich. 
Eine Objektart ist daruberhinaus in verschiedenen Ent- 
wicklungsstufen anzutreff n, also in verschiedenen Grd- 
Ben. Weiterhin ist zu berOcksichtigen, daB zwisch n den 
AbmaBen der kleinsten und der grdBten Objekte nahe- 
zu vier GrdBenordnungen tiegen kdnnen. 

Wegen der hohen Formverschiedenheit der lebenden 
Objekte kdnnen bei dem angestrebt n Verfahren nicht 
alle mdglichen Erscheinungsformen in einer Art Refe- 
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renzdatenbank gespeichert werden, da deren Zahl 
astronomisch hoch ist. 

Mit den bekannten Verfahren und Systemen der Bild- 
verarbeitung ist damit das Erstellen der Artenliste bis- 
hernichtmoglich. 5 

Aus der EP-B-00 73 140 sind ein derartiges Verfahren 
und cine derartige Vorrichtung zur zweidimensionalen 
Untersuchung von Vortagemasken ftir die Erstellung 
von Haibleiterbauteilen bekannt Die zu untersuchende 
Maske wird auf einen X/Y-Kreuztisch gelegt und im lo 
Durchlichtverfahren kontrastiert Eine CCD-Kamera 
nimmt ein Bild dieser Maske auf und leitet es einer 
Signalverarbeitungseinrichtung zur Erzeugung von 
Bildmusterdaten zu. 

Die Vorrichtung weisl einen Speicher fur die aktuel- 15 
len Daten der zu untersuchenden Maske und fur vorge- 
gebene Bildniusterdaten einer Referenzmaske auf. 

Urn das Problem der beim AtzprozeB auftretenden 
abgerundeten Ecken zu berucksichtigen. werden die 
Referenzdaten, die rechtwinklige Ecken enthalten, der- 20 
art verandert, daB Vergleichsbilder mit noch zulassigen 
Eckenabrundungen fur einen visuellen Vergleich oder 
for einen automatischen Vergleich bereitgestellt wer- 
den. Der aktuelle Datensatz und der modifizierte Refe- 
renzdatensatz werden dazu einer Vergleichereinrich- 25 
tung zugefuhrt die ermittelt, ob die gemessenen und die 
vorgegebenen Konturen innerhalb einer Fehlerschwel- 
le ubereinstimmen. 

Ein ahnliches Verfahren und eine entsprechende Vor- 
richtung sind aus der EP-A-01 47 205 bekannt Hier 30 
weist das zu untersuchende Muster ein regelmslBig wie- 
derkehrendes Grundmuster auf. das dementsprechend 
nur einmal als Referenzbildmusterdatensatz vorhanden 
sein muB. 

Bei diesem Verfahren werden die harten Kanten der 35 
Vorlagedaten in einer vorgewahlten Breite durch nach- 
tragtich eingefuhrte Grau-Werte aufgeldst, um einen 
Vergleich innerhalb bestimmter Fehlerbreiten zu er- 
mogtichen. 

Wie bereits eingangs erwahnt, werden bei diesen be- 40 
kannten Verfahren die gemessenen Daten der zu unter- 
suchenden Masken unverandert eingelesen und mit vor- 
gegebenen Datea die ggf. verandert werden, vergli- 
chen, 

Ferner ist aus der DE-OS 29 03 625 eine Vorrichtung 45 
zur automatischen Blutanalyse bekannt. Die Vorrich- 
tung verwendet ein digitales Bild- und Mustererken- 
nungssystem mit einer Mikroskopoptik. wobei ein Ver- 
schiebetisch und eine Fokuskontrolle zum Einsatz kom- 
men. Die zu analysierenden Blutzellen mussen hier 50 
raumlich voneinander getrenni in einer einzelligen 
Schicht vorliegen, wobei nur Objekte in einem bestimm- 
ten GroBenbereich ausgewertet werden. Als zusSizliche 
Kriterien werden Form und Farbe der Objekte be- 
stimmt 55 

Wie schon bei dem oben erwahnten Handhabungsro- 
boter hat auch hier das System eine Wiederfindungser- 
wartung beziiglich der zu sortierenden Objekte. Objek- 
te, die in einer dem Rechner nicht vorbekannten Form 
vorliegen, die also beispielsweise sich zu Clustern zu- go 
sammengelagert haben oder die eine nicht vorhergese- 
hene Form angenommen haben, werden als Schmutzef- 
fekt ausgesondert Formveranderliche oder gar beweg- 
liche Objekte. die sich ggf. zu grdBeren Clustern zusam- 
mengelagert haben. konnen mit dieser Vorrichtung also 65 
nicht analysiert werden. 

Eine entsprechende Vorrichtung zur Blutanalyse ist in 
der DE-OS 24 15 974 beschrieben. Die bekannte Vor- 
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richtung umfaBt einen Verschiebetisch. welcher die zu 
untersuchende trockene Probe unter einem Mikroskop 
verfahrt Ferner ist eine Femsehkamera vorgesehen, 
welche den vom Mikroskop jeweils erfaQten Teil der 
Probe auf einem Bildschirm darstellt Wahrend das An- 
fahren der einzelnen Blutkdrperchen automatisiert er- 
folgen kann, ist ein Operateur erforderlich. der die Blut- 
korperchen identifiziert und durch Driicken einer ent- 
sprechenden Taste klassifiziert Damit ist dieses Verfah- 
ren mit den selben Nachteilen behaftet wie das eingangs 
erwihnte manuelle Verfahren zur Untersuchung von 
belebten Schlammen. 

Aus der DE-OS 33 13 789 ist eine mikroskopische Un- 
tersuchungseinrichtung bekannt. bei der im Ermitt- 
lungsbetrieb kernhaltige Objekte aufgefunden und an- 
hand einer Reihe von Merkmalen, wie beispielsweise 
Farbe, GrdBe und Struktur klassifiziert werden. Auch 
mit dieser Vorrichtung kdnnen nur Objekte klassifiziert 
werden. fur welche eine Wiederfindungserwartung vor- 
handen ist Ferner mussen sich die zu untersuchenden 
Objekte durch wenige aus den optischen Daten ermit- 
telbare Merkmale eindeutig identifizieren lassen. 

Damit ist auch dieses Verfahren nicht geeignet. form- 
veranderliche Objekte, die sich ggf. zu Clustern zusam- 
menfinden konnen, in einer flussigen Probe aufzufinden, 
zu identifizieren und zu kJassifizieren. 

Weiterhin ist in der DE-OS 38 36 716 ein interaktives 
Verfahren zur Auswertung von Zellbildern beschrieben, 
bei dem fachlich geschultes Personal erforderlich ist, um 
im Dialogbetrieb den Rechner bei der Auswertung zu 
fuhren und zu unterstutzen. Damit ist dieses Verfahren 
mit den eingangs bereits erwahnten Nachteilen — limi- 
tierender Zeitfaktor, hohe Fehlerrate — von manuellen 
Verfahren behaftet 

Aus den bereits geschilderten Griinden sind alle diese 
Verfahren zum automatischen Erstellen der Artenliste 
nicht geeignet 

Ausgehend von dem insoweit zitierten Stand der 
Technik ist es Aufgabe der vorliegenden Erfindung, ein 
Verfahren und eine Vorrichtung zum Erstellen einer 
Artenliste fur eine flussige Probe zu schaffen, bei dem 
bzw, bei der ein schneller und hoher Datendurchsatz 
gewahrleistet ist und wobei nur eine geringe Fehlerhau- 
figkeit auftritt Die Vorrichtung soli auBerdem preiswerl 
zu erstellen und zu betreiben sein. Ferner sollen mit dem 
neuen Verfahren bzw. der neuen Vorrichtung auch 
form vera nderliche Objekte identifiziert werden konnen, 
fur deren konkrete jeweilige Form keine Wiederfin- 
dungserwartung vorliegt, die also so nicht eindeutig vor- 
hersehbar sind. 

Diese Aufgabe wird erfindungsgemaB gelost durch 
ein Verfahren der eingangs genannten Art mit den 
Schritten: 

a) optisches Erfassen der Probe als Folge von Bild- 
daten; 

b) Erkennen und Lokalisieren der Objekte in den 
erfaBten Bilddaten; 

c) Automatisches Identifizieren der lokalisierten 
Objekte durch automatisches Vergleichen des je- 
weiligen lokalisierten Objektes mit einer bestimm- 
ten Gruppe von Referenzobjekten, die aufgrund 
von aus den Bilddaten gewonnenen Grobmerkma- 
len des lokalisierten Objektes aus einer grdBeren 
Gruppe von Referenzobjekten ausgewahit wer- 
den; 

d) Zahlen der identifizierten Objekte nach den je- 
weiligen Arten;und 
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e) Eintragen der gezahlten Objekte in die Artenli- 
sie. 

Diese Aufgabe wird ebenfalls gelost durch eine Vor- 
richtungmit: 5 

a) einer Bildaurnahmevorrichtung zum optischen 
Erfassen der Probe als Folge von Bilddaten; 

b) einer Lokalisierungseinrichtung zum Erkennen 
und Lokalisieren der Objekte in den erfaBten Bild- lo 
daien; 

c) einer Identifizierungseinrichtung zum automati- 
schen Identifizieren der lokalisierten Objekte; und 

d) einer Zahleinrichtung zum Zahlen der identifi- 
zierten Objekte nach den jeweiligen Arten sowie 15 
zum Eintragen der gezahlten Objekte in die Arten- 
iiste, wobei die Identifizierungseinrichtung eine 
Sucheinrichtung umfaBt, die die lokalisierten Ob- 
jekte mit einer Gruppe von Referenzobjekten ver- 
gleicht. die sich aufgrund von aus den Bilddaten 20 
gewonnenen Grobmerkmalen des lokalisierten Ob- 
jektes aus einer groBeren Gruppe von Referenzob- 
jekten ergeben, und ein identifiziertes Objekt als 
solches an die Zahleinrichtung meldet. 

25 

Die Aufgabe wird auf diese Weise vollkommen ge- 
lost, denn die Anmelder haben erkannt, daB die Haupt- 
fehlerquelle und der Hauplzeitfaktor in dem Identifizie- 
ren der Objekte liegt Durch das automatische Identifi- 
zieren mit Hilfe einer Identifizierungseinrichtung wer- 30 
den Fehler weitgehend ausgeschlossea Das neue Ver- 
fahren und die neue Vorrichtung arbeiten daruberhin- 
aus wesentlich schneller als das auf sich gestellte Perso- 
nal. Das Lokalisieren der Objekte in den erfaBten Bild- 
daten konnte zwar noch manuell erfolgen, die Bedie- 35 
nungsperson kann hier jedoch wesentlich ermudungs- 
freier arbeiten. als wenn sie auch noch die lokalisierten 
Objekte identifizieren muBte. AuBerdem ist es jetzl 
nicht mehr unbedingt erforderlich, qualifiziertes Fach- 
personal einzusetzen, fur das Lokalisieren von Objekten 40 
beispielsweise auf einem Datensichtgerat, konnen auch 
angelernte Krafte eingesetzt werden. 

Da das Verfahren in automatisierte/automatisierbare 
Einzelschritte zerlegt ist. konnen beispielsweise erst alle 
Objekte lokalisiert werden bevor die automatischen 45 
Identifizierungsprozesse ablaufen. Andererseits ist es 
aber auch moglich, wenn die automatische Identifizie- 
rungseinrichtung sehr schnell arbeitet, jedes lokalisierte 
Objekt sofort zu identifizieren. 

Die neue Vorrichtung bzw. das neue Verfahren arbei- 50 
tet also derart daB zunachst aus den Bilddaten Grob- 
merkmale der Objekte extrahiert werden. aufgrund wel- 
cher dann aus den vorhandenen Referenzobjekten eine 
enge Gruppe ausgewShlt wird. mit der dann die zu iden- 
tifizierenden Objekte verglichen werden. Es handelt 55 
sich also sozusagen um ein wissensbasiertes Verfahren. 

In einer bevorzugten Weiterbildung ist das Verfahren 
durch den weiteren Schritt gekennzeichnet: 

f) Automatische. interpretierende Bewertung der eo 
Eintragungen in der Artenliste unier Verwendung 
zielangepaDter Methoden aus Okologie, Biologic 
und Ethologie. 

Diese MaQnahme hat den Vorteil.daB die Artenliste es 
nicht nur automatisch erstellt. sondem auch automa- 
tisch interpretiert wird, so dafl mit dem neuen Verfahren 
ohne Zwischenschaltung des Menschen eine Aussage 
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iiber den okologischen Zustand der untersuchten Probe 
moglich wird. 

Bei dem bisher beschriebenen Verfahren ist es bevor- 
zugt. wenn vor dem Schritt des automatischen Identifi- 
zierens das jeweils lokalisierte Objekt folgenden Ver- 
fahrensschritten unterzogen wird: 

cl) Automatisches Erkennen des Voriiegens eines 
aus mehreren zusammenhangenden sich ggf. uber- 
lappenden. miteinander verflochtenen Objekten 
bestehenden Clusterobjektes; 
c2) Abspalten eines Subobjektes von dem Cluster- 
objekt und 

c3) Vergleichen des Subobjektes oder des lokali- 
sierten Objektes mit Referenzobjekten (Schritt c 
von oben). 

Hier ist von Vorteil, daB ein Clusterobjekt. das auto- 
matisch erkannt wird, in Subobjekte zerlegt wird. die 
sukzessive mit den zur Verfugung stehenden Referenz- 
objekten verglichen werden. 

Da die Zahl der moglichen Clusterobjekte. die sich in 
einer flussigen Probe finden k6nnen, riesig groB ist. wa- 
re es nicht moglich. alle moglichen Clusterobjekte als 
Referenzobjekte vorratig zu halten. Durch das Zerlegen 
der Clusterobjekte in Subobjekte wird die Zahl der er- 
forderlichen Referenzobjekte und damit die Zahl der 
erforderlichen Vergleiche folglich stark reduziert Dies 
fuhrt zu einem schnelleren Ablauf des neuen Verfah- 
rens. 

In diesem Ausfuhrungsbeispiel ist es bevorzugt, wenn 
das automatische Identifizieren die weiteren Schritte 
aufweist: 

c4) Auswihlen des zu einem identifizierten Subob- 

jekt gehdrenden Referenzobjektes. 

c5) Erzeugen eines modifizierten Clusterobjektes 

durch Vermindem des Clusterobjektes um das aus- 

gewahlte Referenzobjekt und 

c6) Behandein des modifizierten Clusterobjektes 

wie ein lokalisiertes Objekt 

Diese MaBnahme ist insofem vorteilhaft als bei dem 
Abspalten des Subobjektes nicht zwangslaufig ein voll- 
standiges Hauptobjekt von dem Clusterobjekt abge- 
spalten wurde. Es ist moglich. daB das abgespaltene 
Subobjekt nur ein Teil eines an dem Clusterobjekt han- 
genden Einzelobjektes ist Durch das Auswahlen des zu 
dem Teilobjekt gehdrenden Referenzobjektes oder 
Hauptobjektes wird die Zahl der erforderlichen Zerle- 
gungen eines Clusterobjektes reduziert Das Clusterob- 
jekt wird namlich nicht nur um das Subobjekt. sondern 
um weitere Teilobjekte des zu dem identifizierten Sub- 
objekt gehdrenden Hauptobjektes oder Referenzob- 
jektes reduziert Das modifizierte Clusterobjekt en thai t 
also ggf. wesentlich weniger Subobjekte als wenn nur 
das zuvor angesprochene Subobjekt von dem Cluster- 
objekt abgezogen worden ware. 

Hier ist es weiter bevorzugt, wenn das automatische 
Erkennen des Voriiegens eines Clusterobjektes die 
Schritte umfaBt: 

cla) Bestimmung einer Lange/maximaien Ausdeh- 

nung des lokalisierten Objektes. 

clb) Bestimmung von quer zu der Lange veriaufen- 

den Breiten des lokalisierten Objektes und 

clc) Beurteilung der Abweichungen der Breiten un- 

tereinander sowie der Lage der Breiten zu der Lan- 
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ge. urn das Vorliegen eines Clusierobjektes zu be- 
stimmen. 

Bei diesen MaBnahmen ist von Vorteil, daB aus rein 
geometrischen Angaben, namlich der Lange und den 5 
quer zu der Lange genommenen Breiten erkannt wer- 
den kann, ob ein Objekt oder ein Clusterobjekt vortiegt 
Bei einem Clusterobjekt weichen namlich die Breiten 
sehr stark voneinander ab. da beispielsweise lange, diin- 
ne Objekte und eher kugelformige Objekte miteinander 10 
verbunden sind. Weiterhin liegen bei Clusterobjekten, 
die beliebige geometrische Formen annehmen. zumin- 
dest einige der Breiten "auBerhalb" der Lange* d. h. das 
Clusterobjekt ist dermaBen gewunden, daB die Lange 
teilweise auSerhalb des Umrisses des Clusterobjektes 15 
verlauft 

In einer Weiterbildung des Verfahrens ist es bevor- 
zugt, wenn der Schritt des Erkennens und Lokalisierens 
der Objekte die automatische Uberfuhrung eines Ob- 
jektes in ein Teilbild und danach das automatische De- 20 
tektieren von in sich geschlossenen Umrissen umfaBt 

Bei dieser MaBnahme ist von Vorteil, daB durch das 
Oberfuhren eines Objektes in ein Teilbild zunachst die 
weiter zu verarbeitenden Daten reduziert werden, es 
muB nicht das gesamte Bild sondem nur das ein oder 25 
mehrere Objekte umfassende Teilbild weiter verarbei- 
tet werdea 

Ferner ist es bevorzugt, wenn der Schritt des opti- 
schen Erfassens der Probe das automatische Aufneh- 
men von Bildfeldern unlerschiedlicher VergroBerung 30 
umfaBt. wobei von der Probe je VergroBerung liber ihr 
Volumen verteilte Bildfelder aufgenommen werden. 

Auf diese vorteilhafte Weise kann die Probe sukzes- 
siv mit verschiedenen VergrdBerungsfaktoren abgeta- 
stet oder gescannt werden, so daB in Abhangigkeit von 35 
der GroBe der zu lokatisierenden Objekte das gesamte 
Volumen der Probe mit einer gewissen Anzahl von Bild- 
feldern vollstslndig erfaBt werden kann. Da dieses Abta- 
sten automatisch erfolgt, .werden die beim manuellen 
Durchsuchen einer flussigen Probe haufig auftretenden 40 
Fehler — es werden bestimmte Bereiche der Probe 
**vergessen** — vermiedea Auch wird die Probe so mit 
s^mtlichen erforderlichen VergroBerungsfaktoren 
durchsucht Wegen der nahezu vier GroBenordnungen 
uberstreichenden verschiedenen GroBen der einzelnen 45 
Objekte fuhrt dies zu einem hohen Datenaufkommen. 
Durch den automatisierten Ablauf ist sichergestellt, daB 
samtliche Daten erfaBt und verarbeitet werden. 

Hier sei erwahnt, dafl unier "Bildfelder" eine Zusam- 
menstellung oder Zusammenfassung von "Bilddaten** 50 
verstanden wird, die einen bestimmten Abschnitt der 
Probe wiedergebea Bei ''Bildfeldern" handelt es sich 
folglich urn "zusammengehorende** Bilddaten. 

Bei diesem Verfahren ist es weiterhin bevorzugt. 
wenn der Schritt des Lokalisierens das Zusammenfassen 55 
mehrerer Bildfelder. uber die sich ein Objekt erstreckt. 
zu einem Oberlagerungsbild umfaBt 

Durch diese vorteilhafte und einfache MaBnahme 
werden Objekte, deren GroBe so ist, daB sie sich uber 
mehrere Bildfelder erstrecken, dennoch als ein Objekt eo 
lokalisiert und kdnnen in einem einzigen Vergleichsab- 
lauf einem Referenzobjekt zugeordnet werden. 

In einer Weiterbildung des Verfahrens ist es bevor- 
zugt, wenn der Schritt des Erkennens und Lokalisierens 
der Objekte das Detektieren von Bereichen gleicher 65 
oder ahnlicher Echtfarbe, Echtfarbmuster oder Echt- 
farbbereiche umfaBt 

Diese MaBnahme ist insofem vorteilhaft als es in den 
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Bilddaten typische Farben fur Flocken. Algen, Faden 
etc. sowie fiir den Hintergrund gibt Auf diese Weise 
konnen beispielsweise die immer griin erscheinenden 
Algen oder die jeweils gelblich zu erkennenden Flocken 
von dem immer andersfarbigen Hintergrund unter- 
schieden werden. 

Femer ist es bevorzugt, wenn der Vergleich zwischen 
Objekt bzw. Suchobjekt einerseits und Referenzobjekt 
andererseits auf der Basis dreidimensionaler virtueller 
Vektorgraphikdarstellungen erfolgt 

Durch den quasi-optischen virtuellen Vergleich wird 
gegenuber dem reinen Vergleich von extrahierten 
Grobmerkmalen der Vorteil erzielt daB auch Merkmale 
in die Identifizierung einbezogen werden kdnnen, wel- 
che sich nicht in Form von beispielsweise Algorhythmen 
niederlegen lassen. So kdnnen die Referenzobjekte 
Feinststrukturen aufweisen, anhand derer ein leichtes 
Identifizieren der Suchobjekte mdglich ist, wahrend die 
Aufspaltung dieser Feinststrukturen in Merkmale, die 
einem binaren Entscheidungsbaum zugrundeliegen 
wiirden, nicht mdglich erscheint 

In diesem Ausfuhrungsbeispiel ist es ferner bevor- 
zugt, wenn der Schritt des automatischen Erkennens 
eines Clusterobjektes das Zerlegen des Clusterobjektes 
in Bereiche verschiedener Echtfarben, Echtfarbbereiche 
und/oder Echtfarbkontraste umfaBt 

Diese MaBnahme ist insofern von Vorteil, als sich ein 
Clusterobjekt immer in Bereiche verschiedener Farben 
und Farbkontraste aufspalten laBt Auf diese Weise ist 
es mdglich, aus den Bilddaten zusatzliche — physikali- 
sche GroBen betreffende — Aussagen uber ein Cluster- 
objekt zu gewinnen, die eine Zerlegung in Subobjekte 
ermoglichen. 

AuBerdem ist es hier bevorzugt, wenn das Clusterob- 
jekt in Bereiche unterschiedlicher Bewegung, geometri- 
scher Form und/oder GroBe zerlegt wird. 

Auch diese Kriterien ermdglichen in vorteil hafter 
Weise ein automatisches Erkennen von Subobjekten in 
einem Clusterobjekt 

Hinsichtlich der neuen Vorrichtung ist es bevorzugt 
wenn sie eine Bewertungseinrichtung zur automati- 
schen, interpretierenden Bewertung der Eintragung in 
die Artenliste unter Verwendung zielangepaBter Me- 
thoden aus Okologie, Biologic und Ethologie umfaBt 

Diese MaBnahme hat den bereits erwahnten Vorteil, 
daB auch bei der Bewertung der Artenliste der Mensch 
als mdgliche Fehlerquelle ausgeschaltet wird 

Hier ist es ferner bevorzugt wenn die Sucheinrich- 
tung einen virtuell-optischen Vergieicher umfaBt der 
fur den Vergleich zwischen Objekt und Referenzobjekt 
auf der Basis dreidimensionaler virtueller Vektorgra- 
phikdarstellungen vorgesehen ist 

Bei dieser MaBnahme ist von Vorteil, daB der quasi- 
optische Vergleich dreidimensionaler Darstetlungen es 
ermoglicht Feinststrukturen zu beriicksichtigen, die 
sich nicht als vergieichbare Einzelmerkmale aus den 
Bilddaten extrahieren lassen. 

Weiterhin ist es bevorzugt, wenn die Identifizierungs- 
einrichtung eine Clusterzerlegungseinrichtung zum Er- 
kennen von aus mehreren zusammenhangenden, sich 
ggf. uberlappenden oder miteinander verflochtenen Ob- 
jekten bestehenden Clusterobjekten und zum Zerlegen 
der Clusterobjekte in Subobjekte aufweist wobei die 
Clusterzerlegungseinrichtung bei Vorliegen eines Clu- 
sterobjektes eines von dessen Subobjekten der Suchein- 
richtung zufuhrt 

Hier ist von Vorteil, daB mit der neuen Vorrichtung 
auch solche Proben untersucht werden konnea in denen 
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sich Objekte zu Clusterobjekten zusammengelagert ha- 
ben. Weiterhin ist von Vorteil, daB in dem Vorrat an 
Referenzobjekten nicht samtliche mdglichen Clusterob- 
jekte vorhanden sein mtissen, sondern daB ein Cluster- 
objekt in kleinere Subobjekte zerlegt wird, welche sich 5 
ohne groBen Aufwand in die vorgegebene Zahl der Re- 
ferenzobjekte einreihen lassen. Im allgemeinen isi es 
sogar so, daB das Subobjekt ein einzelnes Referenzob- 
jekt Oder Hauptobjekt oder zumindest ein wesentlicher 
Teil eines Hauptobjekies ist» so daB die vorgegebenen 10 
Referenzobjekte unmittelbar auch zur Bearbeitung von 
Proben verwendet werden konnen. in denen sich Clu- 
sterobjekie befinden. 

In einer Weiterbildung ist es bevorzugt wenn die 
Clusterzerlegungseinrichtung eine Clustererkennungs- 15 
einrichtung zum Erkennen eines Clusterobjektes sowie 
eine Vorrichiung aufweist, die ein Subobjekt in einem 
Clusterobjekt erkennt, das Subobjekt von dem Cluster- 
objekt abspaltet und der Sucheinrichtung zufiihrt 

Diese MaBnahme ist insbesondere konstruktiv von 20 
Vorteil, weil die Clusterzerlegungseinrichtung sozusa- 
gen aus zwei Baugruppen aufgebaut werden kann. 

Ferner ist es bevorzugt wenn die Clusterzerlegungs- 
einrichtung einen virtuell-optisch arbeitenden Diffe- 
renzbildner aufweist. der von dem Clusterobjekt das zu 25 
einem ideniifizierten Subobjekt gehorende Referenzob- 
jekt abzieht und so ein modifiziertes Clusterobjekt er- 
zeugt, das der Clustererkennungseinrichtung zugefuhrt 
wird. 

Diese vorteilhafte MaBnahme ermoglicht das sukzes- 30 
sive oder iterative **Abarbeiten'* eines Clusterobjektes. 
Zunachst wird ein Subobjekt erkannt und dann wird das 
zu dem Subobjekt gehorende Hauptobjekt, das mehr 
Merkmale aufweisen kann als das Subobjekt selbst, von 
dem Clusterobjekt abgezogen, so daB das Clusterobjekt 35 
nicht nur um das Subobjekt sondern urn weitere, noch 
nicht verglichene Subobjekte reduziert wird Auf diese 
Weise muB nicht jedes einzelne Subobjekt des Cluster- 
objektes mit den Referenzobjekten verglichen werden, 
so daB die Bearbeitungszeit fur ein Clusterobjekt deut- 40 
lich verringert wird. 

Ferner ist es bevorzugt, wenn die Clustererkennungs- 
einrichtung eine Vorrichtung zur Bestimmung einer 
Lange des Objektes oder Clusterobjektes sowie eine 
Vorrichtung aufweist, die zur Bestimmung von quer zu 45 
der Lange verlaufenden Breiten des Objektes oder Clu- 
sterobjektes vorgesehen ist. und wenn ferner eine Qua- 
linzierungseinrichtung vorgesehen ist» die anhand von 
Abweichungen der Breiten zueinander und anhand der 
Lage der Breiten zu der Lange erkennt, ob das lokali- 50 
sierte Objekt ein Clusterobjekt ist. 

Durch diese einfache und vorteilhafte Weise wird an- 
hand von rein geometrischen Daten entschiedea ob ein 
Clusterobjekt vorliegt Die Langenbestimmung ist 
nichts weiter als das Schlagen eines Umkreises um das 55 
gesamte Objekt, wihrend die Breitenbestimmung ggf. 
nach einer entsprechenden Koordinatentransformation 
eine reine Differenzbildung zwischen jeweils zwei 
Punkten auf dem UmriB des Objektes darstellt. Wie 
bereiis oben erwahnt, unterscheiden sich Clusterobjek- «> 
te von einzelnen Objekten dadurch, daB die Breiten 
stark variieren und daB auBerdem das Clusterobjekt 
dermaBen unregelmaBig geformt ist, daB die ''Lange" 
sozusagen zumindest bereichsweise *'auBerhalb** des 
Umrisses des Clusterobjektes liegt. 65 

Weiterhin ist es bevorzugt, wenn die Clustererken- 
nungseinrichtung eine Vorrichtung aufweist die anhand 
von Bewegungsvorgangen in Teilbereichen und/oder 
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von zusammenhangenden Bereichen gleicher Farbe er- 
kennt, ob das lokalisierte Objekt ein Clusterobjekt ist 

Hier ist von Vorteil. dafl auch innere Bewegungsvor- 
gange in dem Clusterobjekt, das beispielsweise aus 
Flocken und beweglichen Mikroorganismen bestehen 
kann, zur Clustererkennung verwendet werden. Dazu 
kdnnen auch Bereiche gleicher oder ahnlicher Farbe 
herangezogen werden, denn die Flocken und verschie- 
dene Mikroorganismen weisen in den Bilddaten regel- 
maBig unterschiedliche Farben auf. So sind die Flocken 
oft gelblich, wahrend z. B. Algen meist grtinlich erschei- 
nen. 

Ferner ist es bevorzugt, wenn die Lokalisiereinrich- 
tung einen UmriBdetektor aufweist, der in den Bildda- 
ten geschlossene Bereiche gleicher Echtfarbenbereiche 
detektiert, als Objekt erkennt und lokalisiert und danach 
in sich geschlossene Umrisse ermittelt. 

Diese MaBnahme ist insofem von Vorteil. als sowohl 
Objekte als auch Clusterobjekte in den Bilddaten immer 
einen in sich geschlossenen UmriB aufweisen. Auch hier 
ist es also anhand einfacher geometrischer Operationen 
moglich, ein Objekt oder Clusterobjekt zu lokalisieren. 
Zusatzlich kdnnen auch die Farbinformationen dazu 
verwendet werden, Objekte vor dem stels anders farbi- 
gen Hintergrund zu lokalisieren. 

Bei diesem Ausfuhrungsbeispiel ist es ferner bevor- 
zugt, wenn die Bildaufnahmevorrichtung ein Bildauf- 
nahmesystem mit einstellbarer optischer VergroBe- 
rungseinrichtung sowie eine Verfahreinrichtung auf- 
weist, durch welche die Probe relativ zu der VergroBe- 
rungseinrichtung verfahrbar ist, derart, daB mittels des 
Bildaufnahmesystems von der Probe uber ihr Volumen 
verteilt Bildfelder mit unterschiedlichen VergroBe- 
rungseinstellungen aufnehmbar sind. 

Durch diese MaBnahme wird die Probe vollst^ndig 
abgetastet, wobei je nach gewahlter VergrdBerung die 
Zahl der Bildfelder, die erforderlich ist, um das gesamte 
Volumen der Probe zu reprasentieren, variiert Durch 
die Mdglichkeit, verschiedene VergrdBerungseinstel- 
lungen zu wahlen, kftnnen sowohl sehr kleine Objekte 
wie z. B. Bakterien (1 ^im) als auch sehr groBe Objekte 
mit AbmaBen von mehreren mm detektiert werden. 

In dieser Ausfuhrungsform ist es bevorzugt, wenn die 
Lokalisiereinrichtung eine Vorrichtung aufweist, die an- 
hand der von dem UmriBdetektor in den Bildfeldern 
detektierten Umrisse fur ein sich uber mehrere Bildfel- 
der erstreckendes Objekt ein Uberlagerungsbild er- 
stellt. 

Durch diese MaBnahme wird in einfacher und vorteil- 
hafier Weise erreicht.daB auch bei Objekten, die sich an 
sich uber mehrere Bildfelder erstrecken, und somit 
mehrfach mit Referenzobjekten verglichen werden 
muBten, ein einmaliger Vergleich mit den zur Verfugung 
stehenden Referenzobjekten ausreicht Dies fiihrt zu ei- 
nem schnelleren Ablauf bei dem Erstellen der Artenli- 
ste. 

Ferner ist es bevorzugt. wenn die Lokalisiereinrich- 
tung einen Bewegungsdetektor aufweist, der anhand 
der detektierten Umrisse und/oder des Uberlagerungs- 
bildes erkennt, ob das lokalisierte Objektform- und/ 
oder ortsverSnderlich ist 

Diese MaBnahme ist insofem von Vorteil, als anhand 
bereits vorliegender Informationen, namlich der detek- 
tierten Umrisse und des Oberlagerungsbildes. auf eine 
Beweglichkeit des lokalisierten Objektes geschlossen 
wird. Diese Information kann dann bei der Abspaltung 
von Subobjekten und bei der Eingrenzung der durchzu- 
suchenden Referenzobjekte verwendet werden. 



DE 42 11 

11 

Ferner ist es von Vorteil, wenn die Sucheinrichtung 
eine Vergleichereinrichtung aufweist, die in Abhangig- 
keit von Ausgangssignalen von Bewertungseinheiten 
fur Echtfarbe, Bewegung. GroBe und geometrische 
Form/Formveranderlichkeit des zu identifizierenden 5 
Objektes oder Subobjektes einen ausgewahlten Teil der 
in einem Referenzobjektspeicher vorgegebenen Refe- 
renzobjekte auf virtuell-optische Weise nach dem Ob- 
jekt/Subobjekt durchsucht. 

Der Anwender hat erkannt, dafl sich die in einer Pro- 10 
be vorkommenden Objekte durch eine enisprechende 
Kombination der Kriterien Farbe, Bewegung, GroBe 
und geometrische Form in bestimmte Gruppen auftei- 
len lassen, so daB bei Vorliegen dieser Kriterien die Zahl 
der durchzusuchenden Referenzobjekte stark einge- 15 
schrankt werden kann. Auch dies fuhrt zu einem schnel- 
leren Ablauf bei der Erstellung der Artenliste. 

Bei diesem Ausfuhrungsbeispiel ist es weiterhin be- 
vorzugt, wenn die Vorrichtung zum Erkennen und Ab- 
spalten von Subobjekten ein Clusterobjekt in Bereiche 20 
verschiedener Echtfarben und/oder Echtfarbkontraste 
zerlegt und diese Bereiche als Subobjekt behandelt 

Diese MaBnahme ist insofem von Vorteil, als anhand 
von bereits vorliegenden physikalischcn bzw. geometri- 
schen Daten entschieden wird, welche Bereiche eines 25 
Clusterobjektes Subobjekte sind. Es ist also lediglich 
erforderlich, die Bildfelder mit entsprechender Farb- 
kontrastaufl6sung aufzunehmen» so daB aus den mit 
dem Bildaufnahmesystem gewonnenen Daten eine Zer- 
legung von Clusterobjekten in Subobjekte moglich ist 30 

Hier ist es ferner bevorzugt, wenn die Vorrichtung 
zum Erkennen und Abspalten von Subobjekten ein Clu- 
sterobjekt in Bereiche verschiedener Beweglichkeit, 
Form und/oder GroSe zerlegt und diese Bereiche als 
Objekt behandelt. 35 

Wie die vorhergehende MaDnahme ist auch diese in- 
sofern von Vorteil, als bereits ermittelte GroBen und 
Kennwerte zur Zerlegung des Clusterobjektes herange- 
zogen werden konnea Diese Zerlegung ist damit durch 
einfache beispielsweise Hardwareschaltungen oder Mi- 40 
kroprogrammsteuerwerke moglich, so daB auch hier 
Zeit eingespart wird. 

Weiterhin ist es bei dem neuen Verfahren und bei der 
neuen Vorrichtung bevorzugt. wenn fur die Speiche- 
rung der Referenzobjekte ein Referenzobjektspeicher 45 
vorgesehen ist, in dem die Referenzobjekte in Form 
virtuell-optischer dreidimensionaler Vektorflachengra- 
phikobjekte gespeichert sind. 

Bei dieser MaBnahme ist es von Vorteil, daB den Re- 
ferenzobjekten sozusagen eine Formveranderlichkeit 50 
beigegeben werden kann. Im Rahmen einer Vektorgra- 
phik ist es namlich moglich, die einzelnen Referenzob- 
jekte derart abzuspeichern, dafl bestimmte Freiheits- 
grade vorgesehen werden kdnnen. Das Referenzobjekt 
muB also lediglich in einer Grundform vorgesehen sein, 55 
die sich im Rahmen zulassiger Freiheitsgrade verandem 
kann. Dadurch, daB der Vergleich auf virtuell-optischer 
Ebene erfolgt. kdnnen zunachst Suchobjekt und Refe- 
renzobjekt durch entsprechende mathematische Opera- 
tionen in groBt mdgliche Obereinstimmung gebracht go 
werden. Danach wird dann das Referenzobjekt. dem 
entsprechende Freiheitsgrade beigegeben sind, im Hin- 
blick auf das Suchobjekt solange verandert, bis sich her- 
ausstellt, daB es sich an das Suchobjekt anpassen l^Bt 
Oder nicht Auf diese Weise kdnnen auch Objekte identi- as 
fiziert werden, fur die keine Wiederfindungserwartung 
besteht, deren konkrete Form also in dem Referenzda- 
tenspeicher nur als Moglichkeit, nicht jedoch unmittel- 
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bar abrufbar, gespeichert ist. Es sei noch erwilhnt, daB 
der Vergleich derart durchgefOhrt wird, daB die das 
Suchobjekt und das Referenzobjekt reprasentierenden 
verschiedenen Vektoren nach Betrag und Orientierung 
verglichen werden und daB beispielsweise bei einer 
Obereinstimmung in 90% der verglichenen Vektoren 
von der Zugehorigkeit des Suchobjektes zu der durch 
das gefundene Referenzobjekt reprasentierten Art aus- 
zugehen ist 

Es versteht sich, daB die vorstehend genannten und 
die nachstehend noch zu erlautemden Merkmale nicht 
nur in der jeweils angegebenen Kombination, sondern 
auch in anderen Kombination en und in Alleinstellung 
einsetzbar sind, ohne den Rahmen der vorliegenden Er- 
findung zu veriassen. 

Die Erfmdung ist in der Zeichnung dargestellt und 
wird in der nachfolgenden Beschreibung nSher erlau- 
tert Es zeigen: 

Fig. 1 die neue Vorrichtung zur Durchfuhrung des 
neuen Verfahrens, in einer schematischen Gesamtan- 
sicht; 

Fig, 2 die Steuer- und Auswerteeinheit der Vorrich- 
tung nach Fig. 1, in einem Prinzipschaltbild; 

Fig. 3 eine mit der Vorrichtung nach Fig. 1 zu unter- 
suchende Probe, mit schematisch angedeuteten Objek- 
ten; 

Rg. 4 eine Reihe von mit der Bildaufnahmevorrich- 
tung nach Fig. 1 aufgenommenen Bildfeldern der Probe 
nach Fig. 3; 

Fig. 5 die Lokalisiereinrichtung aus der Steuer- und 
Auswerteeinheit nach Fig. 2, in einem schematisierten 
Blockschaltbild; 

Fig. 6 in einer detailtierteren Darstellung ein Bildfeld 
der Probe nach Fig. 3, mit einer Reihe von Objekten; 

Fig. 7 die Identifizierungseinrichtung der Steuer- und 
Auswerteeinheit nach Fig. 2. in einem schematisierten 
Blockschaltbild; 

Fig. 8 eines der Clusterobjekte aus dem Bildfeld nach 
Rg. 6, in einer vereinfachten Darstellung; 

Fig. 9 die Clustererkennungseinrichtung der Identifi- 
zierungseinrichtung nach Fig. 7, in einem schematisier- 
ten Blockschaltbild; und 

Fig. 10 die Sucheinrichtung der Identifizierungsein- 
richtung nach Fig. 7, in einem schematisierten Block- 
schaltbild 

Fig. 1 zeigt eine insgesamt mit 10 bezeichnete Vor- 
richtung zum Erstellen einer Artenliste fiir eine zwi- 
schen einem Objekttrager 11 und einem Deckglas 12 
befindliche fliissige Probe 13. Die Probe 13 weist ggf. 
form- und/oder ortsveranderliche Objekte 14a, 1 4b un- 
terschiedlicher Arten auf. Die Vorrichtung 10 und das 
mit ihr durchzufuhrende Verfahren dienen zum Erstel- 
len einer Artenliste und somit zur Ermittlung des okolo- 
gischen Zustandes der Probe 13, die beispielsweise einer 
Klaranlage oder einem nattirlichen Gewasser entnom- 
men sein kann. 

Zur limnologischen Untersuchung ist haufig eine ge- 
sonderte Probennahme erforderlich, urn Kleinstlebewe- 
sen wie Wurmer. Insekten oder Schnecken (GroBenord- 
nung mm bis cm) erfassen und untersuchen zu konnen. 
Derartige ebenfalls flussige Proben werden nicht auf 
einem Objekttrager gehalten. sondern in einer Petri- 
schale oder einem Uhrglas. 

Die zu untersuchenden Probenraume sind also fliissig 
und in der Regel optisch durchsichtig. Wegen der hohen 
Formveranderiichkeit der unterschiedlichen Objekte 14 
einerseits und der Tatsache, daB die Objekte 14 nicht 
immer vereinzelt vorliegen, sondern sich uberdecken, 
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uberiappen und miteinander verflechten kdnnen, ande- Gleichfalls ist es mdglich. die Probe 13 einer Fluoreszen- 

rerseits» hat die Vorrichtung 10 gegenuber dem Objekt zuntersuchung zu unterziehen, indem sie mit einer in 

14 in der konkret vorliegenden Form haufig keine Wie- Fig. I nicht gezeigten Lichtquelle bestrahit wird, wobei 

derfindungserwartung, es ist ihr so ''nicht bekannt**. Das dieses Anregungslicht durch ein entsprechendes Filter 

auf der Vorrichtung 10 durchzufuhrende Verfahren ist 5 in dem Mikroskop 23 wieder herausgefiltert wird. 

daher wissensbasiert und selbstadaptierend. Die Auswertung der erfaBten Bilddaten erfolgt in der 

Die Vorrichtung 10 weist eine Bildaufnahmevorrich- in Fig. 2 detaillierter dargestellten Steuer- und Aus- 

lung 16 auf, zu der ein Bildaufnahmesystem 17 und eine werteeinheit 26. Ober die Datenleitungen 27 bzw. 32 

einstellbare optische VergroBerungseinrichtung 18 ge- werden Bilddaten entweder direkt von der CCD-Kame- 

horen. Weiterhin ist eine Verfah rein rich tung 19 ange- 10 ra 24 oder von dem Massenspeicher 31 in einen Bildda- 

deutet, uber welche die Probe 13 relativ zu der Vergr6- tenspeicher 38 geladen. Ober dessen Ausgangsleitung 

Berungseinrichtung 18 verfahren werden kann. Dieses 39 gelangen die Bilddaten in eine Lokalisiereinrichtung 

Verfahren erfolgt zumindest in zwei der drei Achsen X, 40. die in noch naher zu beschreibender Weise die in den 

Y und Z eines bei 20 angedeuieten Koordinatensystems. Bildern enthaltenen Objekie "wahrnimmt". d. h. erkennt 

(n dem gezeigten Ausfuhrungsbeispiel ist die Verfahr- 15 und lokalisiert Die derart lokalisierten Objekte werden 

einrichtung 19 ein Kreuztisch 22, der in der X/Y-Ebene uber eine Objektdatenleitung 41 in einen Objektdaten- 

verfahren werden kann und ggf. eine Hubeinrichtung speicher 42 iibertragen, von dem sie uber seine Aus- 

zur Veranderung seiner Z-Koordinate aufweist gangsleitung 43 zu einer Identifizierungseinrichtung 44 

Die VergroBerungseinrichtung 18 umfaBt ein Mikro- gelangen. 

skop 23. das verschiedene VergroBerungsfakloren ein- 20 Die Identifizierungseinrichtung ideniifiziert das in 

stelien kann. Durch entsprechendes Fokussieren des dem Objektdatenspeicher 42 anstehende lokahsierte 

Mikroskopes 23 kann gleichfalls die Z-Ebene. welche Objekt. d. h. sie bestimmt dessen Art. indem sie das Ob- 

von dem als CCD-Kamera 24 ausgebildetem Bildauf- jekt 14 einer jeweils ubereinstimmenden Art in einem 

nahmesystem 17 erfaBt wird, eingestellt bzw, verslndert noch zu beschreibenden Referenzobjektspeicher als 

werden. 25 Angehdrigen zuordnet Uber eine Objektausgabelei- 

Bei einer limnologischen Untersuchung von Kleinst- tung 45 ist die identifizierungseinrichtung 44 mit einer 

lebewesen wird siatt des Mikroskopes 23 eine in der Zahleinrichtung 46 verbunden. die die identifizierten 

Zeichnung nicht dargestellte Stereolupe verwendet. an Objekte zahit und uber eine Obergabeleitung 47 in eine 

die ebenfalls eine CCD-Kamera 24 angeschlossen ist Je bei 48 angedeutete Artenliste eintragt 

nach GroBe der zu untersuchenden Objekte kann auch 30 Ferner ist in Fig. 2 eine Bewertungseinrichtung 49 

eine Bildaufnahmevorrichtung ohne vorgeschaltete angedeutet, welche unter Verwendung zielangepaBter 

VergroBerungseinrichtung verwendet werden. Methoden aus Okologie. Biologic und/oder Etologie ei- 

Weiterhin ist eine Steuer- und Auswerteeinheit 26 ne auiomatische Bewertung oder Interpretation der in 

vorgesehen. die iiber eine Datenleitung 27 sowie eine die Artenliste 48 eingetragenen Daten vornimmt Die 

Steuerleitung 28 mit der CCD-Kamera 24 verbunden ist 35 Bewertungseinrichtung 49 liefert aufgrund der Interpre- 

Auf diese Weise erfolgt eine gesteuerte Aufnahme und tation der Artenliste 48 Aussagen uber den okologi- 

Obertragung von Bilddaten in die Steuer- und Aus- schen Zustand und ggf. eine Prognose uber die Entwick- 

werteeinheit 26. Die CCD-Kamera 24 ist auBerdem iiber lung der untersuchten Probe 13. 

eine weitere Datenleitung 29 mit einem Massenspeicher Die insoweit beschriebene Vorrichtung 10 und das 

31 verbunden, der beispielsweise ein Videorekorder ist 40 auf ihr durchzufuhrende Verfahren sollen jetzt anhand 

und zur Videoarchivierung der untersuchten Probe der Fig. 3 bis 10 naher eriautert werden: 

dient Uber eine Datenleitung 32 ist der Massenspeicher In Fig. 3 ist die Probe 13 aus Fig. I in vergroBertem 

31 ebenfalls mit der Steuer- und Auswerteeinheit 26 Maflstab dargestellt Durch gedachte Trennlinien 50 ist 

verbunden, die somit die Bilddaten entweder direkt von die Probe 13 in ein Raster von Bildfeldern 51 unterteilt, 

der CCD-Kamera 24 oder von dem Massenspeicher 31 45 die nacheinander von der Bildaufnahmevorrichtung 16 

abfragen kann. aus Fig. 1 abgetastel werden. Zu diesem Zweck wird der 

Uber eine Verbindungsleitung 33 ist ein Datenendge- Kreuztisch 22 an eine bestimmte X/Y-Koordinate ge- 

rat/Terminal 34 an die Steuer- und Auswerteeinheit 26 fahren und dann werden nacheinander in Z-Richtung 

angeschlossen. um einem Benutzer Bilddaten von der ubereinanderliegende Bildfelder51 eines Stapels52 von 

Probe 13 anzuzeigen und um ihm die Mdglichkeit zu 50 der CCD-Kamera 24 erfaBt. digitalisiert und als Bildda- 

geben. in den AuswerteprozeB einzugreifen. ten auf die Datenleitungen 27. 29 gegeben. Die GroBe 

Weiterhin sind zwei Steuerleitungen 35 und 36 gestri- der einzelnen Bildfelder 51 richtet sich nach dem Ver- 

chelt angedeutet iiber welche die Steuer- und Aus- groBerungsfaktor, auf den das Mikroskop 23 eingestellt 

werteeinheit 26 den Kreuztisch 22 sowie das Mikroskop ist Der Abstand zwischen zwei iibereinanderiiegenden 

23 ansteuert 55 Bildfeldern 51a, 51d wird bestimmt durch die Scharfen- 

Mit der insoweit beschriebenen Vorrichtung wird die tiefe des Mikroskopes; je geringer dessen Scharfentiefe 

Probe 13 nacheinander in X-, Y- und Z-Richtung abge- namlich ist desto mehr Bildfelder 5t in einem Stapel 52 

tastet (gescanntX so daB am Ende des Abtastvorganges miissen erfaBt werden, um die ganze Dicke der Probe 13 

dreidimensionale Bilddaten zur Verfugung stehen. Eini- durchzumustem. 

ge der Objekte 14 sind — wieerwahm — beweglich. so eo Wenn auf diese Weise ein Stapel 52 '^abgearbeitet" 

daB durch erneutes Scannen auch zusatzlich Informatio- wurde. verfahrt der Kreuztisch 22 entweder in X- oder 

nen auf der Zeitachse gewonnen werden konnen. Die in Y-Richtung um die Breite/Lange eines Bildfeldes und 

Qualitat der Bilder wird dabei wesentlich durch das Ob- das sukzessive Verfahren in Z-Richtung beginnt von 

jektiv des Mikroskops 23 und durch die Auflosung/Digi- neuem. Auf diese Weise wird die Probe 13 sozusagen 

talisierung des aufgenommenen Bildes bestimmt Durch ^5 maanderformig abgetasiet Selbstverstandlich ist es 

die einstellbare VergroBerung des Mikroskopes 23 k6n- auch mogiich. die Bildfelder 51 in verschiedenen Z-Ebe- 

nen Objekte 14 unterschiedlichster GrdBen erfaBt wer- nen nicht in Form eines Stapels 52 anzuordnen. sondern 

den. Die Bilddaten reprasentieren dabei Echlbilder. jeweils um einen kleinen Betrag gegeneinander zu ver- 
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setzen. so dafi Qber alles gesehen eine Zick-Zack-Ver- 
fahrlinie entsteht GegenQber dem m^nderfdrmigen 
Scannen mOssen dann weniger Verfahrschritte unter- 
nommen werden, um die gesamte Probe 13 abzutastea 

Selbstv rsULndlich wird eine Probe 13 fOr unter- 
schiedliche VergrdBerungsfaktoren des Mikfoskopes 23 
Jewells emeut abgetastet Auf diese Weise werden zu- 
njlchst die groBen Objekte 14 mit geringem VergrdOe- 
rungsfaktor und dann mit steigender VcrgrdBerung im- 
mer kleinere Objekte 14 erkannt, lokalisiert und identifi- 
ziert werden, so daB sie in die Artenliste 48 eingetragen 
werden kdnnen. 

In Fig, 3 ist zu erkennen. daB die Objekte 14 beliebige 
Lagen im Raum einnehmen kdnnen. so daB sie sich Ober 
mehrere Bildfelder 51 erstrecken kdnnen. 

Wie in Fig. 4 zu sehen ist, erzeugt ein Objekt 14, das 
sich in einem Stapel 52 uber mehrere ubereinanderlie- 
gende Bildfelder 51c 51d und 51e erstreckt, in jedem 
Bildfeld 51 ein anderes Muster 14'. 14" bzw. 14"'. Um 
das Objekt 14 identifizieren zu kdnnen, ist es zunichst 
erf rdertich, zu entscheiden, aber wieviele Bildfelder 51 
sich ein Objekt 14 erstreckt In dem in Fig. 4 gezeigten 
Beispiel erstreckt sich das Objekt 14 aber die Bildfelder 
51c -51c. Bedingt durch die Schirfentiefe des Mikro- 
skopes 23 sind jeweils bestimmte Abschnitte des Objek- 
tes 14 in der Ebene des Bildfeldes 51 scharf abgebiklet. 
wie dies in Fig. 4 mittels durchgezogener Linien ange- 
deut t ist, wSLhrend andere Abschnitte des Objektes 14 
lediglich verschwonunen zu sehen sind Dies ist in Fig. 4 
durch gestrichelte Linien angedeutet 

Um die einzelnen Bildfelder lagerichtig abereinander 
legen zu kdnnen, mflssen die Bildfekier 51 zunflchst ggf. 
gedreht und in X-. Y- und/oder Z-Richtung verschoben 
werden, um die Bewegung des jeweils betrachteten Ob- 
jektes 14 zu berOcksichtigen. Um zu erkennen, ob es sich 
in V rschiedenen Bildfeldem 51a, 51e um ein Objekt 14 
handelt, das sich zwischen den Aufnahmen der aufeinan- 
derfolgenden Kldfelder 51 weiter bewegt hat, oder ob 
verschiedene Objekte 14, 14b betrachtet werden, kdn- 
nen zus^tzlich Informationen herangezogen werden. die 
aus Bilddaten stammen, die mit einem geringeren Ver- 
groBerungsfaktor des Bildaufnahmesystems gewonnen 
wurden. Bei einem geringeren VergrdBerungsfaktor, al- 
so bei anderer SchSlrfentiefe, laBt sich n^mlich leichter 
unterscheiden, ob es sich um zwei ubereinanderliegende 
Objekte 14b, 14 oder um ein einziges, sich bewegendes 
Obj kt 14 handelt Bei dieser Oberlagerung der einzel- 
nen Bildfelder 51 failt sozusagen nebenbei bereits eine 
Information darOber ab, ob es sich um ein sich bewegen- 
des Objekt 14 handelt 

Da zwischen den einzelnen Aufnahmen der Bilder 
51c- 51 e eine gewisse Zeitspanne vergeht kann sich 
das Objekt 14 unterdessen bewegt haben, was jedoch 
anhand der Abweichung zwischen scharfen Konturen 
und verwischten Konturen in unterschiedlichen Z-Ebe- 
nen erkannt und ausgeglichen werden kann. Bei 53b ist 
ein weiteres Stapelbild des Objektes 14b angedeutet 

Legt man die einzelnen Bildfelder 51c-51e also lage- 
richtig abereinander, so gelangt man zu einem Stapel- 
bild 53, das eine Art Hdhenlinienbild 54 des Objektes 14 
wiedergibt Durch dieses Stapelbild 53 liegen die Objek- 
te 14 jetzt in F rm von dr idim nsionalen Bilddaten v r, 
so daB sie in der Lokalisiereinrichtung 40 erkannt und in 
der automatischen Identifizi rungseinrichtung 44 iden- 
tifiziert werden kdnnen. Dazu werden sie als Vektorgra- 
phikobjekte abgel gt 

Selbstverst&ndlich erstrecken sich die Objekt nicht 
nur in Z-Richtung durch mehrere Biklfelder51 hindurch. 
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es ist durchaus mdglich, in gleicher Wetse, wie in Fig. 4 
far die Z-Elichtung gezeigt, auch in X- und/oder Y-Rich- 
tung eine derartige Erkennung eines Objektes 14durch- 
zufahren. 

In Fig. 5 ist die zustindige Lokalisiereinrichtung 40 
detaillierter dargestellt Die nacheinander auf der Aus- 
gangsleitung 39 anstehenden Daten der einzelnen Bild- 
felder 51 gelangen zimlUrhst in einen UmriBdetektor 56. 
der die Bilddaten nach in sich geschlossenen Umrissen 
und/oder Bereichen gleicher Farbe durchsucht, und so 
zu den scharfen (durchgezogenen) Konturen in den 
Bildfeldem 51a— 51b aus Fig. 4 kommt Dabei wird die 
Tatsache ausgenuut, daB die Objekte 14 immer anders- 
farbig sind als der Hintergrund, diese sich also nicht nur 
durch den Kontrast sondem auch durch die Farbgebung 
von dem Hintergrund unterscheiden. AuBerdem er- 
kennt der UmriBdetektor 56 die verschwommenen 
Konturen der Objekte 14. 

Der UmriBdetektor 56 legt zu diesem Zweck wie folgt 
ein Overlay-Fenster flber die jeweiligen Objekte: Zu- 
n&chst wird Punkt fur Punkt eines jeden Bildfeldes 51 
daraufhin abgefragt, ob seine Echtfarbe zu dem Hinter- 
grundfarbbereich gehdrt, oder sich von diesem abhebt 
Ist ein Bildpunkt (Pbcel) gefunden. der nicht zum Hinter- 
grund gehdrt, damit also Teil eines Objektes 14 ist, so 
wird dieser Punkt von einem virtuellen viereckigen Fen- 
ster aberdeckt Die Kanten des Fensters werden jetzt 
solange iterativ in alle vier Koordinatenrichtungen von- 
einander weggerichtet verschoben, bis die Kanten nur 
noch uber Pixel liegea die dem Htntergrundfarbbereich 
zuzuordnen sind. Da das Ausgangspixel ein Objekt-Pi- 
xel war. ist auf diese Weise sichergestellt, daB in dem so 
erzeugten Overlay-Fenster zumindest ein Objekt einge- 
grenzt ist 

Das so eingegrenzte Objekt 14 wird in ein Teilbild 
umkopiert, so daB die weiterhin zu bearbeitenden Daten 
deutlich reduziert worden sind. Nach dem Umkopieren 
wird das so in dem Original-Bilddatensatz erkannte Ob- 
jekt (die Objekte) dadurch "geldscht*. daB die erkannten 
Objekt-Pbcel in Hintergrund- Pixel umgewandelt wer- 
den. In den Original- Bilddaten sind somit nur noch 
"nicht wahrgenommene** Objekte enthalten,die auf glei- 
che Weise erkannt und umkopiert werdea 

Wahrend des Verschiebcns der Overlay-Fensierkan- 
ten hat der UmriBdetektor 56 gleichzeitig jedes Objekt- 
Pixel als ein solches markiert und zusfltzlich auf folgen- 
de Weise Pixel erkannt, die zum UmriB des jeweiligen 
Objektes 14 gehdren: jedes Pbcel, das zumindest an ei- 
ner seiner vier Seiten an ein Pbcel mit Hintergrundfarbe 
grenzt "gehdrt* zum UmriB des Objektes, wdhrend all- 
seitig von Objekt-Pbcein umgebcne Pixel "im Inneren" 
des Objektes liegen. Wegen des soeben beschriebenen 
Verfahrens ist auBerdem gewahrleistet, daB jede Kante 
des Overlay-Fensters zumindest an einer Stelle an das 
umschlossene Objekt angrenzt 

Nachdem die einzelnen Objekte in den unterschiedli- 
chen Bildfeldem 51 so erkannt worden sind, gelangen 
die reduzierten Daten in einen StapelbildUberlagerer 57, 
der die einzelnen Bikif elder 51 ~ wie anhand von Fig. 4 
bereits beschrieben — so abereinander legt, daB die 
verschwommenen und die scharfen Konturen unter- 
schiedlicher Bildfelder 51 abereinstimmea Die derart 
zueinander ausg richteten einzelnen Stapelbilder 
51a— 51e werden in dem Objektlokalisierer 58 als drei- 
dimensionale Vektorgraphikdarstellungen abgelegt 
Die Daten gelangen von hier in einen Bew gungsdetek- 
tor 59, der anhand der um zu einem Objekt 14 zu gelan- 
genden erforderUch gewesenen Verschiebung der ein- 
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zelnen Bildfelder 51 ermittelt, ob cs sich uni ein sich Der Vergleichsspeicher 78 enthJLlt jetzt entweder die 

bewegendes Objckt handelt Ober die Ausgangsleitun- Datcn cines Bnz lobj ktes 14 oder die Daten cines 

gen eo und 61 wierden di Daten des Stap Ibildes 53 Subobjektes. Diese als 'Suchobjekt" bezeichneten Da* 

sowie die B w gungsinformation einer VerknOpfungs- ten gelangen Qbcr ein Such bjekt-Dat nieitung 84 in 

schaltung 62 zugef Qhrt, die diese Daten Qbcr die Objekt- 5 cine Sucheinrichtung 85, die ihrcrseits Qber eine Refe- 

datenleitung41 indcnObjektdatenspeicher42gibt renz bjekt-Datenleitung 86 mit einem Refercnzdaten- 

In Fig. 6 ist ausschnittsweise die Projektion eines von speicher 87 in Verbindung steht In dem Referenzdaten- 

der Lokalisiereinrichtung 40 erzeugten Stapelbildes 53 speicher 87 sind in vektorieller, dreidimenstonaler Dar- 

dargestellt. wie es typischerweise fflr eine Probe 13 ei- stellung slUntliche Objckte 14 enthalten, die in einer 

nes Belebtschlammes gefunden wird. Das Stapelbild 53 10 Probe t3auftreten kdnnen. 

gibi eine kleine Flocke 64, ein Protozoen 65 sowie eine Da viele der Objekte 14 formverAnderlich sind, also 

Fadenbakterie 66 mit zusfltzlichem bakteriellem Auf- beispielsweise eine andere geometrische Gestait auf- 

wuchs 67 wieder. Weiterhin ist eine grode Rocke 68 zu weisen, wenn sie ruhen oder sich bewegen. muB dies bei 

erkennen, an der eine weitere Fadenbakterie 69 sitzt den Referenzobjektdaten benlcksichtigt werdea Die 

Femer weist Fig. 6 eine Kolonie von drei Glockentier- 15 ZM der mdglichen Formen, die ein einziges bewegli- 

chen 70a, 70b, 70c auf, die einen gemeinsamen Stiei 71 ches Objekt 14 annehmen kann, ist jedoch so groB, daB 

habea der mit seinem FuBpunkt 72 an der groBen Rok- diese nicht samtlichst vorhergesehen und abgespeichert 

ke 68 sitzt Wihrend die Objekte 64 und 65 Einzelobjek- werden kdnnen. Aus diesem Gninde erfolgt der Aufbau 

te sind, die in der Identifizierungseinrichtung 44 pro- des Referenzdatenspeichers 87 derart, dafi die Refe- 

blemlosidentifiziert werden kdnnen, steilen die Objekte 20 rcnzobjckte in einer oder mehreren geometrischen 

66, 67 sowie 68, 69, 70, 71 ein Qusterobjekt 73a, 73 dar. Grundformen abgelegt werden. Zus&tzlich zu dieser 

Die Zahl der mdglichen Clusterobjekte ist so astrono- Grundform sind Freihettsgrade abgespeichert, die die 

misch hoch, daB es nicht mdglich ist, f Or diese Gusterob- mdglichen und zul^ssigen Bewegungen und Formverfln- 

jekte Referenzdatenobjekte zu erzeugen. Die Identifi- derungen des jeweiligen Objektes berOcksichtigen. 

zierungseinrichtung 44 muQ daher jedes beliebige CIu- 25 Beim Vergleich zwischen dem Suchobjekt und den ver- 

sterobjekt 73 so weiter verarbeiten kdnnen. daB es mit schiedenen Referenzobjekten werden jetzt die Refe* 

einer begrenzten Anzahl von vorgegebenen Referenz- renzobjekte im Hinblick auf das Suchobjekt solange 

daten eindeutig identifiziert werden kann. Hier ist noch ver&ndert (im Rahmen ihrer zulHssigen Freiheitsgrade) 

zu bedenken, daB die Teilobjekte eines Qusterobjektes bis sie entweder zu dem Suchobjekt "passen", oder aber 

73 sich zumindest teitweise gegenseitig Qberdecken 30 bis sich ergibt, daB keine Obereinstimmung zu erzielen 

bzw. Qberlappen kdnnen und ggf. auch miteinander ver- ist Dieser Vergleich ist ein virtuell*optischer Vorgang, 

flochten sind. bei dem aufgrund eines wissensbasierten Verfahrens 

In Fig. 7 ist gezeigt, daB die Identifizierungseinnch- (die zuldssigen Freiheitsgrade eines Referenzobjektes 

tung 44 aus diesem Grunde eine Qusterzerlegungsein- sind abgespeichert) die Vektorgraphikdarstellung eines 

richtung 74 sowie eine Objektcrkennungseinrichtung 75 35 Objektcs/Subobjektes mit einer zwetdimensionalen 

aufw ist Die Daten eines lokalisierten Objektes gelan- Projektion eines virtuellen dreidimensionalen Vektor- 

gen Qber die Ausgangsleitung 43 in eine Clustererken- flachengraphikmodelis des jeweils zu vergleichenden 

nungseinnchtung 76, die jedes neu anstehende Objekt Referenzobjektes verglichen wird 

daraufhin QberprOft, ob es ein Einzelobjekt oder ein Die Sucheinrichtung 85 vergleicht also jetzt die Da* 

Qusterobjekt 73 ist Wie dies geschieht, wird noch er- 40 ten, die auf der Suchobjekt-Datenleitung 84 anstehen, 

lautert mit den vorhandenen Daten des Referenzdatenspei- 

Handelt es sich bei dem auf der Ausgangsleitung 43 chers 87, bis das mit dem Suchobjekt abereinstimmende 

anstehenden Objekt urn ein Einzelobjekt so ubertr^gt Referenzobjekt gefunden ist Bei der Abspaltung in der 

die Clustererkennungseinrichtung 76 die Daten fiber Subobjekterkennungseinrichtung 82 kann es nun vor- 

scine Ausgangsleitung 77 in einen Vergleichsspcicher 78 45 kommen, daB kein ganzes Objekt 14 von dem Cluster 73 

der Objekterkennungseinrichtung 75. Handelt es sich abgespalten wird, sondem nur ein Teilobjekt In dem 

dag gen um ein Qusterobjekt 73, so werden die Daten Beispiel der Fig. 6 wird nicht ein aus Sue! 71a und 

von der Clustererkennungseinrichtung 76 fiber seine Glockenteil 70a bestehendes Glockentierchen abge- 

Ausgangsleitung 79 in einen Qusterspeicher 80 geladen. spaltet, sondem nur das Teilobjekt 70a. 

Von dem Qusterspeicher 80 gelangen die Daten fiber 50 In dem Referenzdatenspeicher 87 fmdet sich jedoch 

eine Clusterdatenleitung 81 in eine Subobjekterken- zu dem Teilobjekt 70a ein Hauptobjekt 14 bestehend 

nungseinrichtung 82, die ein Qusterobjekt 73 in eine aus Teilobjekt 70a und Teilobjekt 71a. Dieses Hauptob- 

Reihe von Subobjekten zeriegt Diese Zerlegung in jekt wird jetzt fiber eine Hauptobjekt-Datenleitung 88 

Subobjekte erfolgt anhand weiterer Daten, die bei- an einen virtuell-optisch arbeitenden Differenzbildner 

spieisweise Aussagen fiber die geometrische Form be- 55 89 gegeben, der fiber eine Leitung 90 ebenfalls mit dem 

stimmter Bereiche des Ousters machen. Weiterhin wer- Qusterspeicher 80 in Verbindung steht Der Differenz- 

den die Farben der Qusterbereiche und/oder die unter- bildner 89 modiHziert jetzt das ursprfinglich in dem Clu- 

schiedlichen Kontraste dazu herangezogen, das in Fig. 6 sterspeicher 80 befindtiche Qusterobjekt derart, daB es 

gezeigte Qusterobjekt 73 in einzelne Subobjekte zu um das bereits erkannte Hauptobjekt reduziert wird. 

zerlegea Zurfickkehrend zu Fig* 6 ist zu erkennea daB 60 Das modifizierte Qusterobjekt gelangt fiber die Lei- 

beispielswebe die Glockentierchen 70 und ihre Stiele 71 tung 91 zurfick in die Clustererkennungseinrichtung 76, 

unterschiedlich schraffiert sind, wodurch eine unter- wo die nun anstehenden Bilddaten entweder emeut als 

schiedliche Farbe angedeutet ist Die Subobjekterken- Quster erkannt werden und in den Qusterspeicher 80 

nungseinrichtung 82 spaltet jetzt beispielsweise das eingeschrieben werden, oder aber als Einzelobjekt er- 

Glockentierchen 70a von dem Quster 73 ab und Qber- 65 kannt werden und somit unmittelbar in den Vergleichss- 

mittelt die Daten des Glockentierchens 70a Ober eine peicher 78 gegeben werden. 

Subobjekt-Datenleitung 83 in den Vergleichsspeicher Selbstverst^ndlich wird jedes erkannte Hauptobjekt 

78. fiber die Objektausgabeleitung 45 an die Zihl inrich- 
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tung46gemeldet 

Hier sei envahnt, daO die in dem Referenzdatenspei- 
cher 87 vorhandenen Referenzobjekie von Fall zu Fall 
urn weitere neu auftretende oder neu zu bestimmende 
Objekte erweitert wird, die Vorrichtung 10 ist also 
selbstadaptierend 

Anhand von Fig, 8 wird jetzt beschrieben, nach wel- 
chen Kriterien die Clusiererkennungseinrichtung 76 er- 
mittelt, ob es sich bet den auf der Ausgangsleitung 43 
anstehenden Daten um ein einzelnes Objeki 14 oder urn 
ein Clusterobjekt 73 handelL 

Aus Grunden der Obersichtlichkeit wurden in Fig. 8 
die Glockentierchen 70b und 70c aus Rg. 6 weggelas- 
sen. Die Farben und der Kontrastdereinzelnen Elemen- 
te des Clusters 73' aus Fig. 8 spielen in diesem Beispiel 
fur die Erkennung. ob es sich um ein Cluster handelt* 
ebenfalls keine Rolle. Das Clusterobjekt 73 ist in Fig. 8 
lediglich durch seinen bei 92 angedeuteten UmriB repra- 
sentiert Dieser UmriB des Clusterobjektes 73 wurde 
bereits mit Hilfe des UmriBdetektors 56 — siehe Fig. 5 
— ermittelt. 

Die Clusiererkennungseinrichtung 76 legt jetzt einen 
Umkreis um das Clusterobjekt und bestimmt so seine 
bei 93 angedeutete Lange. seine maximale Ausdehnung 
in der X/Y-Ebene. Dies geschieht beispielsweise. indem 
zwischen sdmtlichen Koordinatenpaaren (X/Y) der Ab- 
stand bestimmt wird und dann der maximale Abstand 
als Lange 93 in die Bilddaten aufgenommen wird. 

Als nachstes wird die Breite des Clusterobjektes 73 
bzw. des Objektes 14 senkrecht zu der L&nge 93 be- 
stimmt Dies geschieht ebenfalls durch eine Abstandsbe- 
stimmung zwischen den entsprechenden Koordinaten, 
einige Breiten sind bei 94a, 94b in Fig. 8 angedeutet Es 
ist zu erkennen, daB das Clusterobjekt 73 teilweise Brei- 
ten 94c aufweist, die keinen Schnittpunkt mit der Lange 
93 aufweisen. Dies ist ein Indiz fiir eine unregelmaBige 
Form des Objektes 14 bzw. des Clusterobjektes 73. 
Nach jeweils festzulegenden Kriterien ermittelt die Clu- 
stererkennungseinrichtung 76 aus der Variation der ver- 
schiedenen Breiten 94a— 94c sowie aus der Tatsache, 
wie oft die Lange 93 "auBerhalb** des Objektes 14 bzw. 
des Clusterobjektes 73 liegt, ob es sich bei dem vorlie- 
genden Datensatz um ein Clusterobjekt 73 handelt. 

Die Clusiererkennungseinrichtung 76 ist in Fig. 9 de- 
taillierter dargestellt. Die auf der Ausgangsleitung 43 
anstehenden Objektdaten eines lokalisierten Objektes 
werden uber eine innere Datenverzweigung 95 einzel- 
nen Baugruppen der Clusiererkennungseinrichtung 76 
zugefiihrt. Uber einen Umschalter 96 wird dabei entwe- 
der die Ausgangsleitung 43. die von dem Objektdaten- 
speicher 42 kommi. oder die Leitung 91, die Informatio- 
nen eines modifizierten Clusterobjektes 73 enthali, auf 
die innere Datenverzweigung 95 geschaltel. 

Diese Daten gelangen in eine Vorrichtung 97 zur Lan- 
genbestimmung. eine Vorrichtung 98 zur Breitenbe- 
stimmung und eine Qualifizierungseinrichtung 99. die 
z. B. aus dem Verhaltnis Lange zu Breite ermittelt. ob es 
sich bei dem zu bewertenden Objeki 14 um ein einzel- 
nes Objekt 14 oder um ein Clusterobjekt 73 handelt Die 
Funktionsweise der Vorrichtungen 97. 98 und der Quali- 
fizierungseinrichtung 99 wurde bereits anhand von 
Fig. 8 eriautert 

Die Qualifizierungseinrichtung 99 gibt die anstehen- 
den Daten entweder auf die Ausgangsleitung 77, wenn 
es sich um ein einzelnes Objekt 14 handelt. oder auf die 
Ausgangsleitung 79, wenn es sich um ein Clusterobjekt 
73 handelt 

Die Clusiererkennungseinrichtung 76 weisi weiterhin 
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eine Vorrichtung 100 auf, die anhand von Bewegungs- 
vorgangen in Teilbereichen eines Clusters und/oder von 
zusammenhangenden Bereichen gleicher Echtfarben er- 
kennt, ob das lokalisierte Objekt 14 ein Clusterobjekt 73 

5 ist 

Als letztes soil eriautert werden. wie die Sucheinrich- 
tung 85 die auf der Suchobjekt-Datenleitung 84 anste- 
henden Suchobjekte mit den auf der Referenzdaienlei- 
tung 86 zuganglichen Referenzdaten des Referenzda- 
10 lenspeichers 87 vergleicht Dies geschieht anhand von 
Fig. 10. 

Die Sucheinrichtung 85 weist zu diesem Zweck eine 
virtuelloptisch arbeitende Vergleichereinrichtung 101 
auf. die nacheinander die zur Verfflgung stehenden Da- 
is ten des Referenzdatenspeichers 87 abfragt und mit den 
Suchobjekldaten auf der Suchobjekt-Datenleitung 84 
vergleicht Damit nicht bei jedem Suchobjekt samiliche 
Referenzobjekie durchgemusteri werden miissen. um- 
faBt die Sucheinrichtung 85 beispielsweise vier Bewer- 
20 tungseinheiten 102. 103. 104 und 105, welche die Suchob- 
jekte nach Farbe, Bewegung, GroBe und geometrischer 
Form bzw. Formveranderlichkeit qualifizieren. Diese 
Informationen ftihren zu Enischeidungskriterien. die es 
der Vergleichereinrichtung 101 ermoglichen, nur einen 
25 kleinen Satz der gesamien zur Verfiigung stehenden 
Referenzobjekie latsachlich mit dem jeweiligen Such- 
objekt zu vergleichen. 

Ist das Suchobjekt beispielsweise in seiner langsten 
Ausdehnung kleiner als zwei ^m, werden nur die in dem 
30 Referenzdatenspeicher 87 gespeicherten Bakterien mit 
dem Suchobjekt verglichen. Hat das Suchobjekt dage- 
gen eine ausgefallene, seltene Farbgebung, so werden 
nur die mit dem entsprechenden Farbcode identifizier- 
ten Referenzobjekie mit dem Suchobjekt verglichen. 
35 Entsprechende Oberlegungen tassen sich auch fur Be- 
wegung und geomelrische Form anstellen. 

Je nachdem. welches der hier beispielhaft angefiihrien 
vier Kriterien Farbe, Bewegung. GroBe und geomelri- 
sche Form sich als am relevantesten erweist, durchsucht 
40 die Vergleichereinrichtung 101 bestimmte Bereiche des 
Referenzdatenspeichers 87. Auf diese Weise iSBl sich 
eine sehr viel schnellere Identinzierung des Objektes 
und in rekursiver Weise damit eines Clusters 73 durch- 
fuhren. 

45 Die Beweriungseinrichtungen 102—105 stelJen sozu- 
sagen einen Merkmalssatzvergleicher dar, welcher auf- 
grund von aus den Bilddaten extrahierter Merkmale 
eine Art morphologische Klassifizierung der Objekte 
durchfiihrt Wegen der hohen Formverschiedenheit der 

50 einzelnen Objekte ein- und derselben Art, ist eine derar- 
tige morphologische Klassifizierung aufgrund von 
Grobmerkmalen jedoch nur bis zu einem bestimmten 
Grad moglich. Danach erfolgt — wie bereits oben be- 
schrieben — in der Vergleichereinrichtung 101 ein qua- 

55 si-visueller Vergleich, ein Vergleich auf der Basis virtu- 
eiler dreidimensionaler Vektorgraphik. Dabei werden 
die Vektoren von Such- und Referenzobjekt hinsichtlich 
Betrag (Lange) und Raumwinkel (Orientierung im 
Raum) miteinander verglichen. Die Referenzobjekie 

60 sind dabei formveranderlich angelegt, sie werden also 
im Hinblick auf das jeweilige Suchobjekt solange veran- 
dert, bis sie "passen**. Auf diese Weise konnen alle nicht 
ohne weiteres beschreibbaren Merkmale dennoch be- 
rticksichtigt werden, da sie in der feinstspezifischen 

65 Struktur des Referenzobjektes implementiert sind Eine 
vollstandige Objektidentifizierung anhand beschreiben- 
der Merkmale ist auch deshalb nicht moglich, weil sich 
die unterschiedlichen Arten zum Teil durch Merkmals- 
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satze voneinander unterscheiden, die nur schwer in Al- 
gorhythmen. sei es auf Hardware- oder auf Software- 
Ebene erfassen lassen. 

1st das Suchobjekt als Teil eines Hauptobjektes er- 
kannt worden. so wird das entsprechende Hauptobjekt 5 
von der Vergleichereinrichtung lOt in einen Hauptob- 
jektspeicher 106 geladen, der iiber die Hauptobjekt-Da- 
tenleitung 88 mit dem Differenzbildner 89 in Verbin- 
dung steht 

Lediglich der VoilstsLndigkeit halber sei abschlie&end 10 
erwahni, daB die diversen in den Fig. 2. 4. 5, 7. 9 und 10 
durch rechteckige Kastchen angedeuteten Baugruppen 
in beliebiger Kombination ganz oder auch zum Teil ent- 
weder durch reine Hardware-Schaltungen/Mikropro- 
grammsteuerwerke. Rechenschaltungen oder pro- 15 
grammgesteuerte Datenverarbeitungseinheiten reali- 
siert sein konnen. Weiterhin ist es selbstverstandlich. 
daB die einzelnen Speicher entweder getrennte Spei- 
cher sein konnen oder aber teilweise iiberlappende Be- 
reiche eines einzigen Speichers sein konnen. 20 

Patentanspriiche 

1. Verfahren zum Erstellen einer Artenliste (48) fur 
eine flussige Probe (13) mit ggf. form- und/oder 25 
ortsveranderlichen sich z. T. gegenseitig Qberdek- 
kenden oder Qberlappenden Objekten unterschied- 
licher Arten zur ErmittJung des okologischen Zu- 
standes der Probe (13), mit den Schrilten: 

a) Optisches Erfassen der Probe (13) als Folge 30 
von Bilddaten; 

b) Erkennen und Lokalisieren der Objekte (14) 
in den erfaBten Bilddaten; 

c) Automatisches Identiftzieren der lokalisier- 
ten Objekte (14) durch automatisches Verglei- as 
chen des jeweiligen lokalisierten Objektes (14) 
mit einer bestimmten Gruppe von Referenz- 
objekten, die aufgrund von aus den Bilddaten 
gewonnenen Grobmerkmalen des lokalisier- 
ten Objektes (14) aus einer groBeren Gruppe 40 
von Referenzobjekten ausgewahit werden; 

d) Zahlen der identifizierten Objekte (14) nach 
den jeweiligen Arten; und 

e) Eintragen der gezahlten Objekte (14) in die 
Artenliste (48). 45 

2. Verfahren nach Anspruch 1, gekennzeichnet 
durch den weiteren Schritt: 

f) Automatische, interpretierende Bewertung 
der Eintragungen in der Artenliste unter Ver- 
wendung zielangepaBter Methoden aus Oko- 50 
logic, Biologic und Ethologie. 

3. Verfahren nach Anspruch 1 oder 2. dadurch ge- 
kennzeichnet, dafl vor dem Schritt des automati- 
schen Identifizierens das jeweils lokalisierte Objekt 
folgenden Verfahrensschritten unterzogen wird: 55 

cl) Automatisches Erkennen des Vorliegens 
eines aus mehreren zusammenhangenden sich 
ggf. Qberlappenden, miteinander verflochte- 
nen Objekten (14) bestehenden Clusterobjek- 
tes (73); 60 
c2) Abspalten eines Subobjektes von dem Clu- 
sterobjekt(73);und 

c3) Vergleichen des Subobjektes oder des lo- 
kalisierten Objektes mit Referenzobjekten 
(Schritt c) aus Anspruch \ \ 65 

4. Verfahren nach Anspruch 3. dadurch gekenn- 
zeichnet, daB das automatische Identiftzieren die 
weiteren Schritte umfaBt: 
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c4) Auswahlen des zu einem identifizierten 
Subobjekt gehfirenden Referenzobjektes; 
c5) Erzeugen eines modifizierten Clusterob- 
jektes (73) durch Vermindern des Clusterob- 
jektes (73) um das ausgewahlte Referenzob- 
jekt; und 

c6) Behandein des modifizierten Clusterobjek- 
tes (73) wie ein lokalisiertes Objekt (14) 
(SchrittclX 

5. Verfahren nach einem der Anspruche 3 oder 4. 
dadurch gekennzeichnet, daB das automatische Er- 
kennen des Vorliegens eines Clusterobjektes (73) 
die Schritte umfaBt: 

cla) Bestimmung einer Lange (73) oder maxi- 
malen Ausdehnung des lokalisierten Objektes 
(14): 

clb) Bestimmung von quer zu der Lange (93) 
verlaufenden Breiten (94) des lokalisierten Ob- 
jektes (14); und 

clc) Bewerten der Abweichungen der Breiten 
(94a, 94b. 94c) untereinander sowie der Lage 
der Breiten (94) zu der Lange (93), um das 
Vorliegen eines Clusterobjektes (73) zu be- 
stimmen. 

6. Verfahren nach einem der Anspruche 1 bis 5, 
dadurch gekennzeichnet, daB der Schritt des Er- 
kennens und Lokalisierens der Objekte (14) die au- 
tomatische Oberfiihrung eines Objektes (14) in ein 
Teitbild und danach das automatische Detektieren 
von in sich geschlossenen Umrissen (92) umfaBt 

7. Verfahren nach einem der Anspruche 1 bis 6, 
dadurch gekennzeichnet, daB der Schritt des opti- 
schen Erfassens der Probe (13) das automatische 
Aufnehmen von Bildfeldem (51) unterschiedlicher 
VergroBening umfaBt, wobei von der Probe (13) je 
VergrdBerung iiber ihr Volumen verteilte Bildf el- 
der (51)aufgenommen werden, 

8. Verfahren nach den Anspriichen 6 und 7, dadurch 
gekennzeichnet, daB der Schritt des Lokalisierens 
das Zusammenfassen mehrerer Bildf elder (51 ),uber 
die sich ein Objekt (14) ers track t, zu einem Oberla- 
gerungsbild (53) umfaBt 

9. Verfahren nach einem der Anspruche 1 bis 8, 
dadurch gekennzeichnet daB der Schritt des Loka- 
lisierens der Objekte (14) das Detektieren von Be- 
reichen gleicher oder ahnlicher Echtfarbe, Echt- 
f arbmuster oder Echtfarbbereiche umfaBt 

10. Verfahren nach einem der Anspruche 1 bis 9, 
dadurch gekennzeichnet. daB der Vergleich zwi- 
schen Objekt bzw. Subobjekt einerseits und Refe- 
renzobjekt andererseits auf der Basis dreidimensio- 
naler virtueller Vektorgraphikdarstellungen er- 
folgt 

U. Verfahren nach einem der Anspruche 3 bis 10, 
dadurch gekennzeichnet, daB das automatische Er- 
kennen eines Clusterobjektes (73) das Zerlegen des 
Clusterobjektes (73) in Bereiche verschiedener 
Echtfarben, Echtfarbmuster und/oder Echtfarb- 
kontraste umfaBt 

12. Verfahren nach Anspruch 11, dadurch gekenn- 
zeichnet. dafi das Clusterobjekt in Bereiche unter- 
schiedlicher Bewegung. geometrischer Form und 
GrdBe zeriegt wird. 

13, Vorrichtung zum Erstellen einer Artenliste (48) 
fur eine flussige Probe (13) mit ggf. form- und/oder 
ortsveranderlichen, sich z. T. gegenseitig uberdek- 
kenden oder iiberlappenden Objekten (14) unter- 
schiedlicher Arten zur Ermittlung des dkologischen 
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Zustandesder Probe (I3X mit: 

a) Einer Bildaufnahmevorrichtung (16) zum 
optischen Erfassen der Probe (13) als Folge 
von Bilddaten; 

b) einer Lokalisiereinrichtung (40) zum Erken- 5 
nen und Lokalisieren der Objekte (14) in den 
erfafiten Bilddaten; 

c) einer Identifizierungseinrichtung (44) zum 
automatischen Identifizieren der lokalisierten 
Objekte (14); und 10 

d) einer Zahleinrichtung (46) zum Zahlen der 
identifizierten Objekte (14) nach den jeweili- 
gen Arten sowie zum Eintragen der gez£ihlten 
Objekte (14) in die Artenliste (48), wobei die 
Identifizierungseinrichtung (44) cine Suchein- 15 
richtung (85) umfaBt, die die lokalisierten Ob- 
jekte (14) mit einer Gruppe von Referenzob- 
jekten vergleicht, die sich aufgrund von aus 
den Bilddaten gewonnenen Grobmerkmalen 
des lokalisierten Objektes (14) aus einer gro- 20 
Beren Gruppe von Referenzobjekten ergeben, 
und ein identifiziertes Objekt (14) als solches 

an die Z^ihleinrichtung (46) meldet 

14. Vorrichtung nach Anspruch 13, dadurch ge- 
kennzeichnet, daB sie eine Bewertungseinrichtung 25 
(49) zur automatischen. interpretierenden Bewer- 
tung der Eintragung in die Artenliste (48) unter 
Verwendung zielangepaBter Methoden aus Okolo- 
gie, Biologie und Ethologie umfaBt 

15. Vorrichtung nach einem der Anspriiche 13 oder 30 
14» dadurch gekennzeichnet, daB die Sucheinrich- 
tung (85) eine viriuelloptischen Vergleicher (101) 
umfaBt fur den Vergleich zwischen Objekt und Re- 
ferenzobjekt auf der Basis dreidimensionaler virtu- 
eiler Vektorgraphikdarstellungen. 35 

16. Vorrichtung nach Anspruch 13 bis 15, dadurch 
gekennzeichnet, daB die Identifizierungseinrich- 
tung (44) eine Clusterzerlegungseinrichtung (74) 
zum Erkennen von aus mehreren zusammenhan- 
genden, sich ggf. uberlappenden oder miteinander 40 
verflochtenen Objekten (14) bestehenden Cluster- 
objekten(73) und zum Zerlegen der Clusterobjekte 
(73) in Subobjekte aufweist. wobei die Clusterzerle- 
gungseinrichtung (74) bei Vorliegen eines Cluster- 
objektes (73) eines von dessen Subobjekten der 45 
Sucheinrichtung (85) zufuhrt. 

17. Vorrichtung nach Anspruch 16. dadurch ge- 
kennzeichnet, daB die Clusterzerlegungseinrich- 
tung (74) eine Clustererkennungseinrichtung (76) 
zum Erkennen eines Clusterobjektes (73) sowie ei- 50 
ne Vorrichtung (82) aufweist, die ein Subobjekt in 
einem Cluster (73) erkennt, das Subobjekt von dem 
Cluster (73) abspaltet und der Sucheinrichtung (85) 
zufuhrt 

18. Vorrichtung nach Anspruch 17. dadurch ge- 55 
kennzeichnet, daB die Clusterzerlegungseinrich- 
tung (74) einen virtuell-optisch arbeitenden Diffe- 
renz-Bildner (89) aufweist, der von dem Clusterob- 
jekt (73) das zu einem identifizierten Subobjekt ge- 
horende Referenzobjekt abzieht und so ein modif- eo 
ziertes Clusterobjekt (73) erzeugt, das der Cluster- 
erkennungseinrichtung (76) zugefuhrt wird. 

19. Vorrichtung nach einem der Anspriiche 17 oder 
18, dadurch gekennzeichnet, daB die Clustererken- 
nungseinrichtung (76) eine Vorrichtung (97) zur Be- 65 
stimmung einer Lange (93) des Objektes (14) oder 
Clusterobjektes (73) sowie eine Vorrichtung (98) 
aufweist. die zur Bestimmung von quer zu der Lan- 
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ge (93) verlaufenden Breiten (94a, 94b. 94c) des Ob- 
jektes (14) Oder Clusterobjektes (73) vorgesehen 
ist, und daB femer eine Qualifizierungseinrichtung 
(99) vorgesehen ist. die anhand von Abweichungen 
der Breiten (94) zueinander und anhand der Lage 
der Breiten (94) zu der L^nge (93) erkennt, ob das 
lokalisierte Objekt (14) ein Clusterobjekt (73) ist 

20. Vorrichtung nach einem der Anspriiche 17 bis 

19. dadurch gekennzeichnet, daB die Clustererken- 
nungseinrichtung (76) eine Vorrichtung (100) auf- 
weist, die anhand von Bewegungsvorg^ngen in 
Teilbereichen und/oder von zusammenhangenden 
Bereichen gleicher Farbe erkennt, ob das lokalisier- 
te Objekt (14) ein Clusterobjekt (73) ist 

21. Vorrichtung nach einem der Anspruche 13 bis 

20. dadurch gekennzeichnet daB die Lokalisierein- 
richtung (40) einen UmriBdetektor (56) aufweist. 
der in den Bilddaten geschlossene Bereiche glei- 
cher Echtfarbenbereiche detektiertB als Objekt 
(14) erkennt und lokaiisiert und danach in sich ge- 
schlossene Umrisse (92) ermittelt 

22. Vorrichtung nach einem der Anspriiche 13 bis 

21. dadurch gekennzeichnet daB die Bildaufnahme- 
vorrichtung (16) ein Bildaufnahmesystem (17) mit 
einsteilbarer optischer VergroBerungseinrichtung 
(18) sowie eine Verfahreinrichtung (19) aufweist 
durch welche die Probe (13) relativ zu der Vergro- 
Berungseinrichtung (18) verfahrbar ist derart daB 
mittels des Bildaufnahmesystems (17) von der Pro- 
be (13) uber ihr Volumen verteilte Bildfelder (51) 
mit unterschiedlichen VergroBerungseinsteilungen 
aufnehmbar sind. 

23. Vorrichtung nach den Anspruchen 21 und 22. 
dadurch gekennzeichnet daB die Lokalisiereinrich- 
tung (40) eine Vorrichtung (57. 58) aufweist die 
anhand der von dem UmriBdetektor (56) in den 
Bildfeldem (51) detektierten Umrisse (92) fiir ein 
sich uber mehrere Bildfelder (51) erstreckendes 
Objekt (14) ein Oberiagerungsbild (53) erstellt 

24. Vorrichtung nach Anspruch 23, dadurch ge- 
kennzeichnet daB die Lokalisiereinrichtung (40) ei- 
nen Bewegungsdetektor (59) aufweist der anhand 
der detektierten Umrisse (92) und/oder des Oberla- 
gerungsbildes (53) erkennt ob das lokalisierte Ob- 
jekt (14) form- und/oder ortsveranderlich ist 

25. Vorrichtung nach einem der Anspruche 13 bis 

24. dadurch gekennzeichnet daB die Sucheinrich- 
tung (85) eine Vergleichereinrichtung (101) auf- 
weist die in Abhangigkeit von Ausgangssignalen 
von Bewertungseinheiten (102, 103, 104. 105) bspw. 
fur Echtfarbe. Bewegung, GroBe und geometrische 
Form/Formveranderlichkeit des zu identifizieren- 
den Objektes (14) oder Subobjektes einen ausge- 
wahlten Teil der in einem Referenzobjektspeicher 
(87) vorgegebenen Referenzobjekte auf virtuell- 
optische Weise nach dem Objekt/Subobjekt durch- 
sucht 

26. Vorrichtung nach einem der Ansprflche 17 bis 

25. dadurch gekennzeichnet daB die Vorrichtung 
(82) zum Erkennen und Abspalten von Subobjek- 
ten ein Clusterobjekt (73) in Bereiche verschiede- 
ner Echtfarben und/oder Echtfarbkontraste zer- 
legt und diese Bereiche als Subobjekt behandelt. 

27. Vorrichtung nach einem der Anspriiche 17 bis 

26. dadurch gekennzeichnet daB die Vorrichtung 
(82) zum Erkennen und Abspalten von Subobjek- 
ten ein Clusterobjekt (73) in Bereiche verschiede- 
ner Bewegung. Form und/oder GroBe zerlegt und 
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diese Bereiche als Subobjekt behandelt. 
28. Vorrichtung nach einem der Anspruche 13 bis 
21, dadurch gekennzeichnet, daB fOr die Speiche- 
rung der Referenzobjekte ein Referenzobjektspei- 
cher (87) vorgesehen ist, in dem die Referenzobjek- 5 
te in Form virtuell-optischer dreidimensionaler 
Vektorflachengraphikobjekte gespeichert sind. 
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BASIC-ABSTRACT: NOVELTY - A culture apparatus (1) with scanner, comprises 
culture device (2) equipped with shelf (6) arranged in a frame case (4). The 
shelf has a scanner (7). 

DETAILED DESCRIPTION - A computer (3) controls the operation of the scanner and 
collects image data obtained with the scanner. 

USE - As incubator for observation of growth/division of bacteria or cell. 

ADVANTAGE - Number of bacteria or colonies (16) of cell of animals and plants, 
can be observed continuously or periodically with respect to previously set up 
schedule, without removing Petri dish (5) from the frame case of the culture 
apparatus. The environmental condition for cultivation of bacteria or cells is 
fixed, and is not influenced by change in external temperature, humidity or 
oxygen concentration. As the scanner requires minimum light source, culture 
can be performed in dark place. A scanner can be automatically controlled with 
the computer, and a user can obtain accurate image data automatically, without 
spending labor for extraction of the Petri dish for observation. By performing 
an image processing by computer, identification of the kind of microbial 
species or cell can be performed automatically and compared with the standard 
image data prepared previously. 

DESCRIPTION OF DRAWING(S) - The figure shows the culture apparatus with a 
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scanner. (Drawing includes non-English language text). 

Culture apparatus 1 

Culture device 2 

Computer 3 

Frame case 4 

Petri dish 5 

Shelf 6 

Scanner 7 

Colony 16 
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ABSTRACT: 

PROBLEM TO BE SOLVED: To perform automatic analysis with high precision and 
accuracy using an image analysis technology by putting a sample liquid 
containing tangible components on a light- transmissible plate and then picking 
up the image thereof. 

SOLUTION: A sample liquid, i.e., a urine specimen, is stirred and a required 
quantity thereof is dispensed into reaction tubes 19a, 19b and 19c. A required 
quantity of dyeing liquid is then injected into the reaction tube 19a and a 
reaction liquid of the sample Uquid and the dyeing liquid is demarcated and 
injected into a slide glass 5 integrated with a cover glass. The light from a 
light source lamp 7 is then passed through a condenser lens 8 condensed in the 
sample liquid on the slide glass 5 and the sample image of a tangible component 
in the sample liquid is formed at a focus position through an objective lens 9. 
Subsequently, the sample image picked up by means of a CCD camera 10 under 
control of an image processing control circuit 12 and digitized through an AID 
converter 13 before being processed through a feature extraction circuit 15 and 
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an identification circuit 16. A central control section 17 accumulates the 
classification results of image over the entire field of view and converts the 
accumulated results, along with the number of microorganisms received from 
operating circuit 22, into a qualitative data based on a previously inputted 
boundary value and delivers the qualitative data to an output unit 23 . 
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i}W<7)m^izmz^mx'h h . 
[0010] St. i^mtfcv^TJi, Wim^mw. 
^m.<mMi^mx'^h^hm^^^Lx\^hzt. n 
s'j#Bb!)\ 'fm^^ixrzWi'rt<r>^mmmi^i^m 

>mLx^mmimwiLti^^u'&Lxi5<^m 
m-hLt. WLUi^^mwrnizmmmm 
-h-rhtzt^mm^wm-h^m^-rh:! t i>mLt 

[ 0 0 1 1 ] it. ±i^atcfcv^-c«. iis'j^g*^^ 
i:^Lx\,^^zt, ms^m^mmizmmt^^ 

mmawmtmwmmt-mfuzm^^tu:: ^(n 
x'hhzbhimit-th. 

[00121 *f6BHcowm^^W:^Ji. ^mm± 
=S:<ti>*-r-&ii:^!RfS!i:-rs, it. ±ia^)-w*a 

[ 0 0 1 3 1 it. ±g»9r*ffitt5V^T. ^«>^«$ 
^i.t1^S«c:5rSiT. ±lB0WXS*>^>®i7)ISi 
•C. itliiJB(2)(^Xg*»'i>®c^XSi-C^. fiMfiM 

[0014] St. ±.wmzi5\^x. miWA*^zm 
m\%:m^hfz^<7iwm:Wim-tiLm.^^Lxuh 

ifc. ^^il»lJ2rJ!IJ:tJ-rSti6iOS^*J. SternheiiDer- 
HalbinS^ffi, Stemheimer SSfeffi. Prescott-Brodie 
Ifefeffi, Behre-MuhlbergS^^. SudanlllS^feS. Lugo 
1 hemosiderin ^^ft. PapanicolaouSSfeS. 

4-chIoro-l-naphthol ffi. Field ^SfeS. Quaglino-FIe 
mnsffi. KaplowS. fejg • K^S. ^^/PU^ffffi. 

;H^OS^a. Brecker ffi. /N^f yy/J^ft^feft. tt'tt 
1^ • XHmttc^ffi. f 0 0 TV V ^V~y)\^ 

V^m'>'h'}ftsi< t iy-mizm\<^(i>tix\.^^&^(r>- 
^tfziizjmmL^a^-t^mx'hhzt. 
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[0015] 10 

[0016] i^mi. mi. m7L\m. jujt. 
Btfg. wsl. mium. mm. is*, jg*. 'ft 

[0017] ■imm.i^\^xmm^):.tf:hw&m 
\i. i^m. (^f^jis, #a***iiii«> , ajii«. 20 

mmiMmxvms^. ^mmMs:}i) . mm. 
(ffi^we, ±5tRft. iffitpitt. Jittna. mm 

yna. rso^f nntt. sene. ^n^jena. %. 
if) . mm^ ara. mm~. m*. hunt 30 

m mmmmt^j:i^mmt txmfi^tii,. 
[0018] ^m^<7msRx/imi,z)5uxii. mm. 
±izmm&t:wm.-t^zb^mLk-th, mMnmt 
tti^^L. mm^mm:si^i^^j:i:><r)X'hixim<. mt 

-iHlffiv^flJO (T'fX;K-ir:r;P) X'h^tzHy. m^f* 40 

co^^ 'j-^-A'^^'S^jt J;s^^5^-fr#g^t*^'^foT- 
mMmm. ryx^y^ (^jsiaiM) . ;<r5x^ 

[0019] mmzm.^tifzmmM. wmmL 
x'wm'^iixy.^xi^fkw w^mt Lx\i. mm 

\i. ±MLtzmMtnm.(^^<r>tmft:>tthi}K m^z 50 
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izmfHitLi::. />/^-i!fyXHmx^-( l^ifyXKT) 
^mX'hh, HI ( a) X'iiXy^l K;!f5Xg|52±lC 

wm^tif^7(>j<-i!fyxm3coiitm&zMi}'nmM4 
^rfc'tmsn. m*)m\^i-tzmiwnm.iz^j:-> 

TV^S. HI (b) {iX5-f H;y7Xa52±{CllSSn 
fzA^<-^'yX3 3 C7)Z2*^^4 ^ fc-r'«±$ ti. 

xU2tiif^-iiyxm3 tffMmzWmb^^^lx 
5. HD*>. WmxhhXyA V:ffyX^2izWmti^ 
^^tlh, :icr)J:dizy(;J^-/fyX-'imxy^ ViH 

yxum^tiii. mmizm^iJEmz^x^-±?>z 

ttfix^. Af<-/fyxi-iz'/h-r?>mm:i^^imL 

m'^:fjitt&ztifixti>. 

[0020] mMh<mmi:mm-hfitf><rymLX 

T-i^'ii. mmi:WL9.tnhi>(ox'3btni^<. miz 

[ 0 0 2 1 ] sm^Sfc LTtt. cc 

D;&V-b'x:t;&>5WW^ttS. JUm^S 

(yf~\'y*~:f>xmm) iimLxii«oi}mtL 
mx^mi. mmmff)m*m.^y(mfnzm^?,h 
<r)X'h'^xi>^\<^i. mi^tu::m^mmmT=Ji? 
)\^>mmLxw;ck^ti,<7>x'i>'yxhS:^\ mimiz 

it. mmj<yizM'^Hif^MX-M.]y>'X^mH' 

[0022] wm.'^co^mm^t tx\i. iimmm 

c^^mmtx^ i 0 mmx < mm-^ ^ t ti-x-^ h . 
^ fz . i&±^mmmAz^^ h t nxh -•t t ^ 
\.K mmmt^m^wz^h^x^yi&-fix\m 

[0023] m^mi. mL^ixftmm(n>^mm 
^^mmmzmri\^x^L. mim-i>ii<r)X'hh. 
wm^mzii. f»)Wc&^titz^'if(nm.^mm^h 

•fhmmbi:nmi>(r>mtL\\ ^rfc. zzx\>^o 
"fm^-^tu-zm^tii. mm-hm mm m 
zk^K^o. ti-z. mf^BizamsL^tctzmmi-s. 
miLxii<t:ifxD?(=Evm^mixi5<<7)mtL 

[0024] ms^Bt Lxii. mm. ±sicomii: 



7 

m^9m. ifiiis Its. tii:hmt^xcommi}^vy h± 
[0025] mimii^^m^i^ixutcrtmt 

[ 0 0 2 6 1 iS8"J#afcJ:«.±iBH«3!|ia«. V 

[0027] ^zx\ ^mMffmmizi5\,^x\t. ^mi 
iz^^m^]mij-f-ititb(7)mm\^t'<^UMi:mat 
&^m^^^^wi,z&znm-^ ztizx-ox.^ 

i^±^-t^ztti^x't^. 

[0028] Um^imz^^iv^J:\<^i3i. -jKWC*P^> 

ixTV^I>t)<Oi: LTSternheiiDei-Malbin^& ( SM^fe 
feS) . StemheiBer ( S^S, N SSSfeS* 

t<iSternheiiier IfefeScO^S) , Prescott-Brodie Ife 
-fea, Behre-MuhlberggSfeffi (BMSSfeS) . Sudani 11 
^sfeffi. Lugol S^ffi, hemosiderin SsfeS. Papanico 
laouSSfea. 4-chloro-l-naphthol Field 
Quaglino-Flaiansffi. Kaplowffi. ffiS • '<./HJ 

y^feffi, >r^;l^OSSfeS. Brecker ^'W^^y/h 

iSj , riefl^^g^^s jiijseaEj . ^mmm: 

. MEDICAL TECHNOLOGYglJ 

ffj ) ^«03'fei!'-'^<i:t-at=fflV'>^>ixTV^SE^« 

mm. $>h--ommx'm\^hiiiwm(r>mm 
tim<r>^mxm\>^(,tix^^i>wm(ommi?:m^^ 
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[ 0 0 2 9 ] ±iESs^fc{i. mm(Dm^^ 
m (tm) m (^mmm. edtajsh. li-^^m. 

^'xyi?. NaN3 . T'D^'yy. ^y-y-f y^TVo 

LTt^t\ m&mmmpmz^-omz^ws 
mm^mm uz o , ^m&^mmim-t^fzmz:^ 
mmm (edtaisis, s^iijs. i^^'^sgig, ^x.y 

SES. NaC K KC K CaC I2 . Al C 1 
10 3 ^) . {^)Va-X. y^i'h-x. ify^ 

[ 0 0 3 0 ] $ <i>{c. J: l.tiHi^)-*f-Ci±-|~H-=5:te 

iisMtt. ^m^^^z1mthy(mf}mLm:^-^\.^ 
x^mmcr>miniii-thmm?:imti><r>ifi. x*i6 

[0031 ] mm. wm'^commm^j:i:cr>m.m(7) 

^hiz^VTmi\^±^ithrzii). m.m^ATP (tx 
ATP^mMtti.mmtiztizi:'^xmmm<7)m 

30 7x7— b\ ;l-j^7xi;y^i:'S:^OATPS5lg$:fiJffl 

tzbizx-yx^ozttfix^h (itim^) . 

[0032] 
[^1] 

1 

*/7i9>+ATP +0,- «yl5'7iU> +C0, +AIIP +3Kt 
[ 0 0 3 3 ] ^fc, *f&HH(OSgt{i^ JiM$iTJtB« 

mmmmm) imx.htix\^i></)ii^Mt lw im 

9. m%ff<y^^. ir'J9iV\:f^fi:^9. cd-r 

[0 0 34] ^tj. ai:bllgfcLTT-<;?.ri/^Srffl(r^ 
h^\z\t. ^-3.-m^\,zX'>x. ansiSii^H^x 
50 'm.(r^cy)m (#«i«£coa!K« 
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mm^. mwii'y^' comma., mi^y^cma. # 

[0035] ^^mmm.^zh\.yz\i. mm-mz. ^ 
"mthim. xM^mmmzm^Lx. ^mt^ 

[0036] ^^m<rmMizii. T^xru^(o^:* 
mmi^x'^immi:miixti^\'\ mz. :^mco 

^Y^'7xm<mw>*j:<^j:')tz'%^m\z\i. mm. 
^x\mm.zX'>xm^^%-thmm:{mLxi> 

[0037] imm<^Wiz\i. ^(nmiiznm-t 
fd!b. m^<r>WLi/ifim.i,z^m(^ {nmimmmt 

WitLxmh\,z^im^^m-hm^^mi\i.x t>fi 

m:izmM.ff)^Vii'€h^l X o iztKDtf^m L v\ 
[0038] *%BB<o*ffi«. JiSL/>:*f|HB(0|ia5: 

m\^tiiimiznozbi}K'^i. mi=>. ^mcmm. 
±izwm^mii-ixmmhti. t&^^mzx 

[0039] 
[0040] USSfiail 

K;«r5X5(±. 01 (a) tSL3tJ:ot;<?^N'-;^7X 
t-WmiiZm&^tlX . /l^^-ifyX-imxy^ K;*- 

^i>xYT-yf\^e±izWM^tix\>'>^. y.Y7—^)V 

^^z\imm.t LxxT-/r=^—9imih.^t.ixx\^ 
h. xYT-^)ve\i^mm ii}^t><mm^\ix 
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1 0 

m\fi\iz^w,z^m. i^^^'^xm.m.^^'t^, 
[0041 ] t hx\mwmj^mm%<r)cc 

Ditl}iy\0ifim\^t3itX\^h. CCD;>^^7 1 Ottt 

mmwLt Lx. mi\^yxmL'onn(:>txx\^h. m 
mmi. mmsmm'm 1 2 . hm^ t 'j 1 4 . !^ 
samttjuiKi 5. nsosisciHiKi ^mmms 

[0042] mmz. wmt^j:hwmt:^yr>v^ 

b. 1 9 c {zmmm-h. ^r^. i o^-t^a^ 
sf^y>. mmi'rtTmi.zmnhx^^h, ^yr)vw^ 

t LX^libJ^-^-¥i]-mm(^tvf::^t:m^&<r> 

X'htm. ^<-^-vmMR*)mmi,zx. 
20 T-^i5i.x/^yr)V<^m\^mw,\z^tt, W.z. 

fe?S^SJ5f 1 9 atig^Jt^L. ^r^JS^OSJfe^ 
*«;2^J-«. R^S'f 19a*>^>1iJ«i?Si:^?KfctO 

(Xy^ Vmxs) tSEA-t*. SSfeRJE^S 

[0043] i5i:(c. wmimcthfzisb. m^t^sh 
yyrit^i=%i:^-rh. yyriii^i^mmtifz^ 
(mm ii.m±i:m^. ^yfytvyxsim-^ 
xxy^ \^ifyx5i.mimh{zm^^ith. wm 
30 ^ffy^m^-^(mi!^mimivyX9i,zx*)mm.w^ 
m^^tL. ^<mm.^wnmmi. ccd;<?^^io 
(mm±.^zwMihLxim^ix. itm^^ix^. 
[oQAA^mwsmmmm 2{i. mtmm 1^ 

LT X Yx-r;W 6 oS^XJiff jh?r*ijffllta t i: 
it. XYx-y/l^ej&sfffiLiitlSgtc:. CCD;!&^^1 
Oizmiii^iy^h. CCDityiylQX-nt^fifm^ 

40 [004 5] mmmwmm 2\i. w«i^t u 14 
m.m. 5r^;t.. ±iBti3i«tcsm. a/d^ 

Wk. ^ty^cOlSWSrffd. H«iJ!ra®lfflllIISSl 2«, 
jRLff^. ^tJ, g®fiS5:^t-63t46cOXYf— y 
Xo^zm^LXi.'^W 

[0046] mz. mmmmm 1 2\i. 
y 1 4fctstt$fL/cB«T-^'^. !RFS!«ia5(ii»i 5^ 
50 K^-^h. wm\mni 5i±, m%.(nimM mt 



1 1 

mmiM:. 7ii/@x/Yjt, Wck^^x/Y]t^ m. 
[0047] ^mMmmi en. y-v 

i? 0 1 , iix MESS 1 6 iziimimwvm^jm 

\^rz^mm(0!Sm^i:^jhitXi>B:^\ 

[0048] '^^mm 1 7{i. ^}HSte^t««iT- 

[0049] -K«fttt>c7)«^i: iOiSt^M^S! 
S-rS Jti^t:. 1 9 b pt>{c h U ^ ODil^S*^ 
L, -e<7>-aj£0«iftc|SfJS:^]RLTATPfll^SSI!liS:^ 
Jul, IBtS-a:-!., Kit?f l 9c4'Wlh'J^'nni^l? 

JSSLi. mtnmizATPm&MMimutxfut^-^ 

S. IS3tJi;I^5y^-^2 0{cJ:<9«Stt^S. aSIUffi 
2 Hi, I3r£efiartt;l'$y^-:5'2 0tt:)g?a$il/i 
m.^:ilt^yhL. m.-th, iXt. «»|5|!i&22l±, 

2HZX *)m.^iitzmtm. (y*hym 
(rmSii. fif>ATP(omm&izx-oxs.iii^tifzim 

[00501 ^m^m 1 7{i, ijiffi$ti.tffl«i7)#ii 

{^mm(r>w^m.) izmn^^x^'&.T—s' mux 

±, +. + + . K^L, nhtift^ 

:h^m.2 3<iz]mi-rh. 

[ 0 0 5 1 1 04 {±. ^wM(Dmmm^^mijm(r)-m 
x^mnhtLX\^h. jiiT. 04^#igrtfci)iBH 
[00521 imiima.m *xetj3v^TJi, « 

m2 0 o^f*&@'t^gH^rt:jSfm. #mo . 7 

[0053] C^Sfeie: *lSti3V^T{i. 
^L>tSi61'«03^)<7)-2|st, S (Sternheimer )m 
^mio. 25mimaltmtl, 
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1 2 

[0054] Cm^f^SiXSD *ieJ±. S3t«Jitc*![ 
Wmt^j:i>mmi:m\lLtimi!>-^0. 0 15ml$: 

iz^T^tm^^mtx^^^. 

[0055] im*^mjM:i *istijv^-c<i, #ig 
Lfzm^irmLx^-i^'iz^-yhLxi^i,. mmy^T— 
i^'ji-b -y h ^titzm^irmm&Mtx'mi^^h , 

[0056] (smigD wmfi^mm^ 

xmbX'hh. ^XStfet^TJi. filgjfc, CCD;«^ 

yizM*)m^titznm\^yx (.ikkm) izx-^xm 
^mt&^txi^^. mz. smy^7—=Jiz-k-yh^ti 
fzccDZ/jt^izx-ox. MmrcMA^^. mmm. 
i:m^Lx\>^i. 

[0057] mmm ■ leexg] :^xmiim$ti 
timmumtx^mmizm'i-ti'TmThh. *x 

ilSfSbSin 0 Ofc^rl-i-C^OigLffi^^iS. 
[0058] CIS^Ii?*iS^)-tfXS D *Xg{i, 

aj-rsxsT-fts. *xstc*>v^T«, 

30 JlXXg-CS«Ji*c2r*aL/::RiB^H*<7)3*>-*t. 
0. 4%h'J^'oapl!ifr0. 7 5inlSajn-ri.. SO 

^.fi^mO .01ml i^Mt. ZtHZATPmmM 
C30mM^"J>-;I^^U>-yy^>y7r (pH7. 8) , 
SmM^-^y^i^^A^ 0. 1 mlVUSK;Ui^7ai'J 

y. 1 ou/m i;i/j^7x7— fefS^-tr^rfi., ]2rO. 

5mim(IDLTIS3t2r^t;^*l.. ^WfBtJr/l-S 7^ 

-i^m^^xmmi. WMm^^m^^x^irA^y 

40 [0059] iJCt, ^^ATPOSJJSat ioTStUL 
/iH^tCi-sT. #eifls4»<OATPS5:*to&, ^<r> 
fi, hU^'DOp|g&aaniL^«!*4'«7)ATPfti:, :/ 
7>'^'tL>t«i*4»<7)ATP»t<r)JISr^a^, mf^^<r) 
mWBjSOATPMSrScait-l., -f-<7)*gmSr$iJ»IHiC 
Xg'vea-tS. 06tStt»ATPi||«i:MatOffl^ 

[0060] iwrnniim *xecijv^rji, bs^ 
htim^tm^L. r<xrv^^r^)y9m\zw!,^ 
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* [00621 :icmtm^zmimfSL>mizx 

[0063] 
[^2] 
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^ m fH » 










iamm 




88.99( 


90.3% 
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[0064] SiiS09 2 5S [ 0 0 6 9 ] C^^l^iJlS] *xett5V^TJ±a4 C7) 

a3«t?9T-«, H2£7)CTtM=5:'). ATPsi^ mmmtx-^^^?,. 

mc^mmii^xK. i'oxmi(mvm\'^t^tix\,^i>iis. [oo7o] c»mxeD*isfcfcv^Tj±04«o^i: 

;wM!«:*5*iR$nTv^i., ^hjmcommz':>\.^xii w;jmmimitx\>^&. 

m2iz^LtzmstmmT$>h. [ 0 0 7 1 ] mmm^m • leitis] *xstctjv^TJi 

[0066] :sii^mmxn:i *xsKfcv^T«i. imxT~'Jimi^itxsm&.m^s&ii^j:tii(i>m 

5ml i^Rje'SttJ^JR-rS. [007 2] CMffllthflaiSD *XS{CfcV^TJ±H<a»l 

[00671 CSJfeXgJ *Xgtfcl^T(±, 30 S ■ i£in:S*>^.#^>it:^jK*5-^L, t -f xri/^ 

^^atJtSl^t::. S (Stemheimer ) 0 . 2 ^TU y^^lCffil^-T.?.. ^3{i, -?-COIU:^ (93^) 0i 

5 m 1 wm\.mm>. ^m^xa o , < hp f > aza^^hw^m. 

[00681 CS*f3SXSD*XS(:t>v^TJia4(?3 ^TS^ilTV^S. 

fi^ltliaC, SSfeffi2:»L/c?S*»^>0. 015mlS: [00731 
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[02 ] :^mm^mm^^m.(r)--m^ncfmx'h 
[061 is+ATPiijgtMafciofflwams, 
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(57) [Mt!>l 
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(d) ^ \ 
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(k) I 



1 

mi^m±W)mnz'm^j:-mmi^mfr)^ 
^ . mmzmtti> n t mmti'm^m:i:(r>^ 
urn. 

[0001] 
[0002] 

fp. 'ec7)fl!!S>f>t!DSA^yR) cotmizhrz-iXii. 

t xj^icfcv . -^(ommiznax. txta 

mth, ^Lxxmzt5\,^xii. mi.±sh(r>^^£m 
mmm.i:m£-t?,zkip^htLX\^?,. vrnzm^ri 
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Abstract 

In this work the effectiveness of the fuzzy kohonen clustering network (FKCN) in the unsupervised classification of 
> ;electron microscopic images of biological macromolecules is studied. The algorithm combines Kohonen*s self-organizing 
feature maps (SOFM) and Fuzzy c-means (FCM) in order to obtain a powerful clustering technique with the best 
properties inherited from both. Exploratory data analysis using SOFM is also presented as a step previous to final 
clustering. Two different data sets obtained from the G40P helicasefrom B, Subtilis bacteriophage SFPl have been used 
■ for testing the proposed method, one composed of 2458 rotational power spectra of individual images and the other 
composed by 338 images from the same macromolecule. Results of FKCN are compared with self-organizing feature 
:maps (SOFM) and manual classification. Experimental results prove that this new technique is suitable for working with 
; large, high-dimensional and noisy data sets and, thus, it is proposed to be used as a classification tool in electron 
,: microscopy. © 2000 Elsevier Science B.V. All rights reserved. 

. Keywords: Image processing; Cluster analysis; Neural networks; Self-organizing maps; Fuzzy logic 
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have been previously used: classical statistical 
methods, clustering techniques and neural net- 
works. Multivariate statistical analysis (MSA) 
[1,2], was first proposed as a way to reduce the 
number of variables characterizing an image and, 
in some cases, a visual" inspection was enough to 
enable the manual identification of the clusters in 
the data set under analysis. Visual inspection, how- 
ever, is not suitable for all kind of data, so more 
objective clustering methods were applied: Hier- 
archical ascendant classification [3], hybrid (/c- 
means and ascendant classification approach) [4], 
Fuzzy c-means [5], estimation of the probability 
density function and skeleton by influence zones 
[6]. For a review see Ref. [7]. 

Neural networks, such as Kohonen's self-or- 
ganizing feature maps (SOFM) have also been suc- 
cessfully applied in classification of electron 
microscopic images [8,9], creating a new and 
powerful methodology for classification in this 
field. One of the advantages of this approach is that 
it does not need any prior knowledge of the number 
of clusters present in the data set. However, the user 
must define several parameters that have a direct 
impact on the results [10]. For instance, topology 
of the map (square, rectangular, etc.), horizontal 
and vertical size (number of neurons), dimension 
(usually two dimension is used, but dimensions 
greater than two can also be used), the size of the 
update neighborhood and learning rate strategy. 
A bad choice of parameters can lead to negative 
results, speciaUy the map size and updating 
neighborhood, that's why several atteriipts to 
optimize the selection of these parameters have 
also been reported [11-13]. Using SOFM for 
direct classification is also difficult because the par- 
tition of the candidate clusters should be accomp- 
lished and usually this operation is manually 
carried out. 

Since electron microscopic images of isolated 
biological specimens (single particles) are a good 
example of objects with an intrinsic degree of varia- 
bility, cluster analysis using fuzzy logic seems to be 
appropriate for dealing with such problem. The 
fuzzy concept has been useful in situations dealing 
with non-well-separated clusters, which include hy- 
brid points situated in the midst of two disjoint 
compact clusters. In fuzzy clustering, objects do not 



belong exclusively to one cluster, but partially to all 
of them with a different degree of membership. In 
electron microscopy image classification fuzzy clus- 
ter analysis has proved to be a powerful tool [5]. 
However, this technique has an important draw- 
back: it can be easily trapped in an undesired local 
minimum of the cost function being minimized 
(cost function refers to a criterion describing the 
quality of the partition) during the convergence 
process, specially when dealing with noisy and 
high-dimensional data sets, where the "curse of 
dimensionality" (the quantity of data needed to 
achieve good classification performance grows ex- 
ponentially with the dimension) [14] plays an im- 
portant role. 

In the present work we describe the apphcation 
to electron microscopic images of biological speci- 
mens of a hybrid approach in which both the 
Kohonen's self organizing feature map (SOFM) 
[10] and the fuzzy c-means clustering algorithm 
(FCM) [15] have been integrated. We will refer to 
this approach as the fuzzy kohonen clustering net- 
work (FKCN). This method attempts to overcome 
some of the difficulties described above by taking 
advantage of the best features of the self-organizing 
structure of the SOFM and the fuzzy clustering 
model of the FCM. The methodology was first 
proposed in Ref. [16] and has also been successfully 
applied in the field of image processing [1 7, 1 8]. The 
application of SOFM in exploratory data analysis 
(EDA) is also presented as an initial step of the 
classification process. During this stage, a graphical 
representation of the data under analysis is used for 
the determination of the number of clusters to be 
further extracted. 



2. Materials and methods 

2. 1. Experimental data sets 

We have used a set of images of negatively 
stained hexamers of the bacteriophage SPPl G40P 
helicase obtained in the electron microscope [19]. 
2458 images were translationally and rotationally 
aligned and their rotational power spectra were 
calculated using the technique described in Ref 
[20]. For experimental purposes, we created two 
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Fig. 1. Two examples of the images used for experiments. As it is 
evident, they have a low signal/noise ratio, making visual classi- 
fication impossible. 



data sets: 

• Composed of 2458 rotational power spectra. 
Only the first 15 harmonics were considered, 
forming in this way a data set composed by 2458 
15-dimensional feature vectors. Each spectrum 
was classified manually and was assigned a label 
corresponding to the most prominent harmonic 
(e.g. 6, 3, 2, etc.). 

• Composed of 338 images that were extracted 
from a visually homogeneous 6-fold symmetric 
population. Original images have a very low 
signal/noise ratio (Fig. 1). The dimension of each 
image is 50 x 50 pixels. As explained in Ref. [19] 
a ring mask with minimal radius of 12 pixels and 
maximal radius of 20 pixels was applied to each 
image. In this way 338 818-dimensional feature 
vectors were obtained (each feature vector is 
formed by the pixels inside the mask). In this case 
a previous classification was done using a non- 
supervised self-organizing map [19], dividing the 
set of images in two groups according to their 
handedness. 

2. 2. Kohonen's self-organizing feature maps 

The Kohonen model is a neural network that 
simulates the hypothesized self-organization pro- 
cess carried out in the human brain when some 
input data are presented [10]. The structure of this 
neural network is composed of two layers: an input 
layer formed by a set of units (on for each feature of 
the input) and an output layer formed by units or 
neurons arranged in a two-dimensional grid. The 
algorithm maps a set of input vectors onto a set of 



output vectors (neurons), but unlike other mapping 
algorithms, the output response is ordered accord- 
ing to some characteristic feature of the input vec- 
tors. It can be interpreted as a nonlinear projection 
of the p-dimensionai input data onto an output 
array of nodes. Each neuron has a vector of coeffi- 
cients associated with it {vt 6 91"). In the future we 
will refer to this vector as "weight". 

The functionality of the algorithm can be de- 
scribed as follows: when an input vector (x^ e K**) is 
presented to the net, the neurons in the output layer 
compete with each other and the winner (whose 
weight has the minimum distance from the input 
vector) as well as a predefined set of neighbors 
update their weights. This process is continued 
until some stopping criterion is met, usually, when 
weight vectors "stabilize" or when a number of 
iterations are completed. 

The update rule for the output vectors used in 
this algorithm can be mathematically described as 
follows: 



(1) 



here, the learning rule a, is a decreasing function of 
t (time, or iteration number) that control the mag- 
nitude of the changes with time, and Kt is a func- 
tion that controls the size of the neighborhood 
(according to radius r) of the winning node to be 
updated during training. Both a, and decrease 
monotonically during training in order to achieve 
convergence. The explicit forms of a, and used 
in this paper are as follow: 



/iter - 1 
a, =aol 



Iter 



(2) 



where iter is the maximuni number of iterations 
and oto is the initial learning rate value. 



h„=exp(-||r^-rJ|W) 
and 



a, = 1 + (R, 



(3) 



(4) 



Ro is the initial neighborhood radius and ||ry - r,|| 
is the distance in the map (output space) between 
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node j (the node been updated) and node c (the 
winning node). 

2.3, Fuzzy c-means (FCM) 

Fuzzy c-means clustering is a process of group- 
ing similar objects into the same class, but the 
resulting partition is fuzzy, which means that in this 
case images are not assigned exclusively to a single 
class, but partially to all classes. The goal is to 
optimize the clustering criteria in order to achieve 
a high intracluster similarity and a low intercluster 
similarity using p-dimeiisional feature vectors. The 
theoretical basis of these methods has been re- 
ported in detail elsewhere [15,16] and will only be 
briefly reviewed here. 

Let A' = {x,, X2,^3, x„} denote a set ofn fea- 
ture vectors in W. The data set X is going to be 
partitioned into c fuzzy clusters, where i <c <n, 
A c-partition of X can be represented by u^Xj^) or 
Wife, where is a continuous function in the [0,1] 
interval and represents the membership of x^^ in the 
cluster i, 1 ^ I < c, 1 ^ ^ rt. In general [m.^^] can 
be denoted by a c x « matrix V and must satisfy the 
following conditions: 



0 < Z w/fc < n. 



(5) 



(6) 



The Fuzzy c-means algorithm consists of an iter- 
ative optimization of an objective function 



Jt=l 1 = 1 



(7) 



where v = (v^,V2,v^, •••.v,X with Vi g W being the 
cluster center of class /, 1 ^ r ^ c, and: 



l>ik^(di,?^\\x,~v;\\\ 



(8) 



is the distance in the A norm from x^ to Vi [A is any 
positive definite pxp matrix) and 



llXfc - U. IL = (Xfc - Uf)M{Xfe - Vi). 



(9) 



In this work we used euclidean distance (A = /). 
Other matrics are also possible. 



The parameter me{l, oo ). determines the "fuzzi- 
ness" of the partition. The performance of FCM is 
quite dependent of a good choice of m. Even if some 
studies have been carried out in order to find some 
good ways to find an optimum value of m [21], this 
choice still depends on the data under analysis and 
it is rather heuristic. 

For a given partition, the cluster centers can be 
calculated as follows: 



(10) 



(11). 



_ Z;=i(^.-.rxfe 

a new partition is obtained as 

which completes one step of the algorithm. The 
iterative optimization of the objective function con- 
tinues until a stopping criterion is met, usually 
when the euclidean distance between [/-matrices at 
successive iterations falls below a threshold f. (suc- 
cessive iterations show little change), that is 

= ||C/,-^/,-i||^<e, (12) 
2,4. Fuzzy Kohonen clustering network (FKCN) 

Fuzzy Kohonen clustering network [16] is a type 
of neural network that combines both methods 
described above: SOFM and FCM. The structure 
of this self-organization network model consists of 
two layers: input and output (no hidden layer is 
present). The input layer is composed of n nodes, 
where n is the number of features and the output 
layer is formed by c nodes, where c is the number of 
clusters to be found. Every single input node is fully 
connected to all output nodes with an adjustable 
weight Vi assigned to each connection. Given an 
input vector, the neurons in the output layer update 
their weights based on a pre-defined learning rate a. 
This approach integrates the fuzzy membership 

from the FCM in the following update rule: 



where the learning rate a is defined as 
nif — (mo — iAm), 



(13) 



(14) 
(15) 



where ^ 

Any otf 
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iteratioii 
This ; 
ties: \ 

• The ij 

r andi 
each I 
neurcj 
distaij 
has t| 
dates 
the it^ 
conce 
updat 

• FKC 
cause 
justin 
updai 
FKC: 
SOF 
FKC 
the d; 

• For 
c-me^ 

• In ih^ 
thecl; 

The stefj 

1. Fix c| 

^ = oj 

2. luitia 

3. Fort 

(a) C<; 
Eq. (14). 

(b) Uf 



Material may be protected by copyright law (Title 17, U.S. Code) 



the "fuzzi- 
er FCM is 
'en if some 
find some 
I [21], this 
lalysis and 

ers can be 



(10) 



(11) 

ithm. The 
ction con- 
It, usually 
natrices at 
old e (suc- 
it is 



(12) 

'KCN) 

')] is a type 
I methods 
: Structure 
;onsists of 
:n layer is 
f n nodes, 
he output 
number of 
)de is fully 
adjustable 
Given an 
/er update 
ling rate a. 
jmbership 
ite rule: 

(J3) 



where Am can be 



t: Am=(mo-l)A„ 
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(c) Compute for the stopping criterion as 



4^. 



(16) 



Any other values for Am are possible, mo is any 
positive constant greater than one, t is the current 
iteration and r^ax is the iteration Umit. 

This method shov^^s several interesting proper- 
ties: 

• The learning rate a is a function of the iteration 
t and its effect is to distribute the contribution of 
each input vector Xjk to the next update of the 
neuron weights in an inverse proportion to their 
distance from x^. The winner node (whose weight 
has the minimum distance from the input) up- 
dates its weight favored by the learning rate as 
the iteration increases. In this way the Kohonen 
concept of neighborhood size and neighborhood 
updating are embedded in this new learning rate. 

• FKCN is a truly Kohonen-type algorithm, be- 
cause it features a well-defined method for ad- 
justing both the learning rate distribution and 
update neighborhood as function of time. Hence, 
FKCN inherits the "self-organizing" structure of 
SOFM-type algorithms. 

• FKCN it's not sequential: different sequences of 
the data do not alter the results of the algorithm. 

• For a fixed m, > 1 FKCN is a truly Fuzzy 
c-means algorithm 

• In the limit (m, = 1), the update rule reverts to 
the classical Hard c-means rule (winners take all). 

The steps for the algorithm are: 

1. Fix c, and e to any small positive constants (i.e. 
E - 0.0001). 

2. Initialize the weight vector (cluster centers) 
vo ={vi,o.^2,o^--^^c.o)- Choose > 1 and 

3. For t = l,2,...,ti„„ 

(a) Compute all learning rates a,^ as defined in 
Eq. (14). 

(b) Update all weight vectors i;.-., with: 



(14) 
(15) 



1 ^is,t 



(17) 



E,^\\v,~v,^,e^l\\Vi,-Vu^d'- (18) 
(d) If £r ^ fi then stop else next t. 

3. Results 

We have tested the proposed method on two 
different data sets: one composed of the rotational 
power spectra of a large set of images and the other 
one composed directly by a set of images as de- 
scribed in materials and methods. In the first case 
each data had 15 components (15 first harmonics) 
and, therefore, the dimensionality of each data was 
not very high, however, the second data set was 
composed by images, which results into a poten- 
tially very high dimensionality problem. While 
techniques such a MSA or PCA could have been 
used for certain reduction of the dimension of the 
second data set, we have chosen instead to work 
directly with the images. The rationale has been 
aimed at testing our newly proposed method under 
very demanding conditions of large, noisy and high 
dimension data sets, a situation very common in 
electron microscopy image analysis. 

3. L Experiment using rotational power spectra 

3 A A. Results using fuzzy Kohonen clustering net- 
work (FKCN) 

In this example, 2458 images from purified G40P 
protein samples were used for analysis. The rota- 
tional power spectrum [20] of each particle was 
calculated taking into consideration only the first 
15 harmonics. Rotational symmetry analysis has 
been previously used in this field [22,23]. Some 
other improvements over using rotational spectra 
analysis for classification have also been proposed 
[24,25], specially for dealing with misalignment 
problems (invariant classification). However, these 
invariant methods suffer some problems [26], basi- 
cally the phase information from the Fourier trans- 
form when calculating the double autocorrelation 
and double self-correlation functions is eliminated, 
therefore a classification of the invariants does not 
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Fig. 2. 1x1 SOFM output manually clustered into four regions. Group A: particles with a prominent 6-fold component and a small, but 
noticeable, 3-fold component. Group B: 2-fold symmetry. Group C: 3-fold symmetry and Group D: lack of a predominant symmetry. 
The number of elements assigned to each code vector is printed in the upper-right corner of each spectrum. 



necessarily induce a correct classification of the 
images themselves. In our work, we deal with mis- 
alignment problems by doing several rotational 
and translational alignment steps previous to the 
determination of the rotational power spectra. 
Since only the first 15 harmonics were calculated, 
a 2458 1 5-dimensional data set was generated. 

Repealing the steps followed in a previous work 
on the G40P hehcase by Barcena et al. [19], a 7 x 7 
SOFM was applied to the data set and the resulting 
map was manually clustered into four classes. The 
results are shown in Fig. 2. Group A shows a pre- 
dominant 6-fold symmetry with a small, but notice- 



able, component on harmonics 3 that must be 
taken into account. Group B represents 2-fold sym- 
metric images. Group C is closely related to 3-fold 
symmetric particles and Group D shows only 
a prominent harmonic in 1, which can be inter- 
preted as a lack of symmetry in this group of 
images. 

In the first experiment FKCN was apphed to the 
whole set of particles' spectra, therefore it was used 
with the following configuration: 15 input nodes 
(each node representing a component in the spec- 
trum) and 4 nodes in the output layer (representing 
four clusters). A partition into 4 clusters was carried 
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Fig. 3. Four cluster centers obtained from FKCN (m = 1.5, stopping criterion c = 10"* and 500 iterations). The number of elements 
assigned to each cluster is printed in the upper-right comer of each spectrum. Cluster I presents a predominant 6-fold harmonic with 
a week 3-fold one. Cluster 2 shows a predominant 2-foId harmonic. Cluster 3 shows a clear 3.fold symmetry and cluster 4 shows no 
symmetry at all. 
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out in order to compare the results obtained by the 
new FKCN with the results of the previous analysis 
performed in Ref. [19]. The fuzzy constant m was 
set to 1.5, stopping criterion s was set to 10"* and 
500 iterations were used. The resulting code vectors 
(cluster centers) are shown in Fig. 3. As can be 
deduced from the observation of the cluster centers, 
the four groups visualized by the SOFM were also 
successfully extracted by FKCN (compare Figs. 
2 and 3). Quantitative results of coincidence are 
shown in Table 1. As it is evident, a high coincid- 
ence is obtained for the four clusters obtained by 
both SOFM and FKCN. Nevertheless, a major 
difference in the sets extracted by both algorithms 
should be noticed. When SOFM output was man- 
ually clustered, a set of code vectors that were 
bounding the groups was not considered in order 
to avoid an erroneous classification at the borders. 
However, FKCN considered the whole data set 
and as a result of this difference in behavior, there 
exist a subset of the data that were eliminated from 
the SOFM that has been effectively classified by 
FKCN. To study how this subset was classified by 
FKCN, an additional group - Group E - has been 
included in Table 1. Cleariy, the majority of images 
in group E has been now classified as belonging to 
cluster 4 (see Fig. 3), whose cluster center is a noisy 
spectrum with no discernible special features. 

Another experiment using this data set was also 
carried out, but in this case and for comparison 
purposes, each spectrum was manually classified 
according to its most prominent harmonic without 
being presented to the SOFM. Essentially, the 



Table 1 

Comparison between FKCN and SOFM. m=1.5, ( (iter- 
ations) = 500* 



SOFM 


FKCN 


Coincidence (%) 


Group A 


Cluster 1 


92.87% 


Group B 


Cluster 2 


85.86% 


Group C 


Cluster 3 


96.24% 


Group D 


Cluster 4 


90.97% 


Group E^* 


Cluster 4 


63.36% 



"Coincidence is defined as the percent of the spectra that were 
classified in the same classes by both, manual clustering of 
SOFM map and FKCN. 

•^Group E is formed by the elements eliminated from the 
SOFM due to the fact of being at the borders of the clusters. 



spectra were classified according to the almost pre- 
dominant occurrence of harmonic 1, or 2, or 3, or 4, 
or 5, or 6, or, finally 7, as well as by the following 
sequence of frequent combinations: 

• Combination 1: predominant 6 and a minor 3 (in 
this case 3 cannot be a harmonic of 6). 

• Combination 2: predominant 6 with a high peak 
in 5 or in 7. This can be an error in the calcu- 
lation of the spectrum because of the choice of 
the center that was used for the expansion of the 
image into the corresponding Fourier-Bessel 
functions [20], 

• Combination 3: High 10- and 11 -fold compo- 
nents (maybe noise). 

A number of individual spectra were impossible 
to classify into the groups defined above and were 
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labeled as N, standing for (Noise). The interpreta- 
tion of the rotational aspects of the data set is 
beyond the scope of this paper. 

The comparison of the results of FKCN using 
four clusters and this manual classification of the 
spectra into the most typical harmonics was not 
obvious. While cluster 1 of FKCN matched very 
well (89.30%) with those spectra corresponding to 
the predominant occurrences of harmonic 6, cluster 
2 of FKCN matched reasonably well (72.72%) with 
2-fold spectra, and cluster 3 matched well (89.81%) 
with the 3-folded spectra, cluster 4 of FKCN 
- whose center in Fig. 3 presents a predominant 
I -fold component - was formed by spectra which 
had been manually classified in different manners. 

We have used four clusters in our data set in 
order to reproduce SOFM results, however, the 
fact that we obtained a cluster in which there is 
a mixture of manually classified spectra, tends to 
suggest that a partition into four clusters is not the 
best for this data set. The initial partition of the 
SOFM into four clusters was probably very in- 
fluenced by the small size of the output array used 
in Ref. [19]. Indeed, for data with important vari- 
ations among them, large output arrays are prefer- 
red, in order to have the needed flexibility in the 
network to follow the trends of variations in the 
input data (a point that will be addressed more in 
depth below). In this case, the initial SOFM analy- 
sis carried out using a 7 x 7 output array was able 
to detect some of the more prominent trends of 
variability, but lacked the capability to detect 
subtle changes. In an effort to provide a systematic 
framework to the task of classifying large and com- 
plex data sets, in the following section a new tool 
operating on large SOFM output arrays will be 
presented as a way to detect detailed trends of 
variability. 

J. 7-2 Exploratory data analysis (EDA) and FKCN 
Automatic determination of the number of clus- 
ters is known as cluster validity and it is a very 
complex topic in pattern recognition. It is known 
that most cluster validation approaches follow 
some assumptions about the data set and the algo- 
rithm used to generate the clusters [ 1 5,27-30]. Fur- 
thermore, it may be physically plausible to expect 
good and logical resuhs using different number of 



clusters, as the data are separated into increasingly 
finer substructures. Several classical and new clus- 
ter validity techniques have already been applied in 
the context of electron microscopy [5,27], and 
some of them (partition coeflBcient, partition en- 
tropy, non-fuzzy index, compactness and separ- 
ation index and Moreau and Jain functional) were 
also used with these data sets, although, they did 
not provide conclusive results: most of them sug- 
gested the use of two clusters. This behavior was 
expected because these functionals give their opti- 
mal values when clusters are compact and well 
separated, situation rarely found in real situations. 

In this work we present a different approach to 
cluster analysis by using SOFM for the task of 
visual exploratory data analysis [31-34]. Due to its 
learning algorithm the SOFM forms a non-linear 
regression of the ordered set of output vectors 
(neurons) into the input space. In fact, it can be 
considered that the two-dimensional grid of output 
vectors acts like an "elastic network" that follows 
the distribution of the data [10]. The ordered na- 
ture of this regression justifies the use of the SOFM 
as a display for data items, this is so because nearby 
output neurons will have similar data mapped onto 
them, so the density of vectors of an organized map 
will be an approximate reflection of the density of 
the input samples [10,35]. In this way, the cluster 
structure of the data can be visually detected by an 
appropriate display of the distances between the 
reference vectors (code vectors) of neighboring 
neurons in the map. One of the simplest method 
[31,36,37] is to sum up the distances of code vec- 
tors of adjacent neurons. Summing up the so-cal- 
culated distances gives a measure of dissimilarity 
between the neurons in the p-dimensional input 
space. The distances can be displayed for example 
as heights, giving a landscape appearance or coding 
different colors (gray levels). We used the latter in 
this work. 

For this purpose we have used a self-organizing 
map of 64 x 64 neurons arranged in a rectangular 
lattice. The choice of the optimal map*s parameters 
is a difficult task, so we decided to generate 10 
different map configurations and use the minimum 
weighted quantization error as the selection cri- 
terion as suggested in Ref. [10]. Fig. 4 shows 
the distances between neighboring neurons on the 
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resulting map. Light areas represent zones of high 
degree of clustering, while dark areas represent 
gaps between clusters. It should be noticed that in 
this application SOFM was trained in two stages, 
as suggested by Kohonen [10]. The first stage is 
called the "ordering phase", where the code vectors 
are first ordered, for this purpose a large initial 




Fig. 4. Display of a 64 x 64 square SOFM. The label of each 
neuron coincides with the label of the closest spectrum accord- 
ing to manual classification previously carried out. The label of 
each group is arbitrary and indicates the number of the cluster 
(see Fig. 5). 
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neighborhood radius (usually the whole neighbor- 
hood) and a large learning rate is used. In this case 
initial radius [Rq) was set to 64 and initial learning 
rate (ao) was set to 0.05. One thousand iterations 
were used. The second phase is used for fine-tuning 
the code vectors, hence a smaller initial neighbor- 
hood radius and a smaller learning rate are used 
(Rq was set to 4 and ao was set to 0.03). Five 
thousand iterations were used during this phase. 
Because of the very small neighborhood radius 
used in the second run, the resulting map was not 
very smooth; in this way "compact clusters" with 
a small light area inside a black border were ob- 
tained. There is also a big white area in the map 
where virtually no images have been assigned, this 
is therefore a zero-density zone which was obvious- 
ly not included in the analysis. 

The visual inspection of the map suggested the 
use of 10 clusters for new computations and Fig. 
5 shows the 10 cluster centers obtained when ap- 
plying FCKN with m = 1.5, stopping criterion 
e = 10"* and 500 iterations. 

The interpretation of these new results, as well as 
the comparison with the manual classification is as 
follows: 

Cluster I: 100% of coincidence. This cluster 
showed 232 individual spectra with a high and 
predominant 6-fold symmetry, there is a full coin- 
cidence with the manual classification. 

Cluster 2: This cluster is composed of a mixture 
of spectra with the common property of having 
a predominant peak in the 6 component but with 
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Fig. 5. Ten cluster centers obtained from FKCN (m = 1.5, stopping criterion £ = 10 ^ and 500 iterations). The number of elements 
assigned to each cluster is printed in the upper-right corner of each spectrum. 
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high peaks at others components like 8 and 9. 
54.86% of the spectra was manually classified as 
6 with components at 4, 8 and 9, 26.84% was 
classified as 8-fold symmetry and the rest is noise 
(peaks everywhere). This group can be considered 
as a noisy 6-fold symmetric subset that because of 
being so populated requires special treatment (it 
could then be a candidate for an even finer degree 
of classification). 

Cluster 3: 99.66% of coincidence. 297 spectra 
showed a high 2-fold component. 296 matched with 
manual classification. 

Cluster 4: 82.09% of coincidence. This cluster is 
composed of 229 spectra and shows a clear 5-fold 
symmetry, 188 matched the manual classification. 
By looking at the individual cases of the spectra 
falling in this cluster, it could be noticed that a high 
component in 6 is also present. This effect in the 
spectrum could be produced by a wrong alignment 
of 6-fold symmetric images. The wide peak around 
the 5 component in the cluster center corroborates 
this. By looking at the 41 individual spectra that 
were incorrectly assigned to this cluster, it could be 
noticed that 28 of them were manually classified as 

6- fold symmetry, however, in most of them a big 
component in 5 is also present. 

Cluster 5: 85.34%. This cluster is composed by 
307 spectra and shows a 3-fold symmetry, 262 of 
them matched the manual classification. As it is 
clearly shown in the cluster center, a predominant 
but not very high 3-foId component, with a notice- 
able harmonic in 9, is detected. However, by ana- 
lyzing individual spectra of erroneously classified 
data, all of them were manually classified either as 
Noise or 1-fold symmetry, although they also pre- 
sented high 3 and 9 components, which explain the 
classification into this group. 

Cluster 6: 74.73% of coincidence. This cluster is 
formed by 190 7-fold symmetric spectra, and 142 of 
them coincided with manual classification. Sim- 
ilarly to Quster 4, a high peak around 6 was also 
noticed in the whole set of data falling in this 
cluster. 17 cases that were incorrectly classified as 

7- fold symmetry were manually classified as 6-fold 
synmietry. Again, the images whose spectra were 
classified in this cluster could be incorrectly aligned 
producing this subset of 7-fold symmetry. (See also 
the wide peak around 7 in the cluster center.) 



Cluster 7: 100%. 233 spectra were classified as 
1-fold symmetry (maybe a lack of clear rotational 
symmetry in the images). All of them matched with 
manual classification. 

Clusters: 100%. 201 spectra showed a high and 
predominant 3-fold symmetry. All of them matched 
with manual classification. 

Cluster 9: 94.51%. 237 spectra were classified as 
4-fold symmetry, 224 of these matched with manual 
classification. 

Cluster 10: 100% of coincidence. This cluster 
holds an interesting group of 6-fold and 3-fold 
symmetric images. There are 274 spectra in this 
cluster, where the 58.39% were manually classified 
as 6- and 3-fold symmetry (in this case 3 is not 
a harmonic of 6), the rest was manually classified as 
3-fold but with a very high 6 component. 

3.2, Experiment using 3- and S-fold symmetric 
images 

In this experiment, 338 images representing 
high-dimensional data and very noisy data were 
used for testing the algorithms. In this case all these 
images share similar rotational symmetry (6-fold 
with a minor 3-fold component) and belong to 
Group A of the former rotational synmietry experi- 
ments, see Ref. [19] for details. Classification of this 
kind of particle is very diflftcult because of the low 
signal/noise ratio and the apparent structural sim- 
ilarity of the population. Two representative im- 
ages from this data set are shown in Fig. 1. 

For comparison purposes with previous work 
[19], a 7 X 7 SOFM was applied to the data set and 
the resulting map was manually clustered in two 
different classes that visually fexhibited an opposite 
handedness. This result is shown in Fig. 6, where 
the SOFM was clustered in two classes whose main 
difference is in the handedness of the periphery of 
the particles. 

In the first experiment using FKCN we clustered 
the data set into two clusters in order to reproduce 
the results obtained by SOFM (different values for 
m, stopping criterion e and iterations were used). 
However, FCKN could not find two clusters re- 
lated only to variations in handedness of the par- 
ticle as obtained by SOFM. Fig. 7 shows the cluster 
centers and the average images belonging to both 
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Fig. 6. 7 X 7 SOFM output visually clustered in two regions 
with different handedness. The number of particles assigned to 
each code vector is printed in the lower-right corner of each 
image. 




Fig. 7. Top: two cluster centers obtained from FKCN [m = L5, 
stopping criterion 10"* and 500 iterations). Bottom: Aver- 
age images of the particles assigned to each cluster. 



clusters. It is evident that cluster 1 contains a mix- 
ture of particles with different handedness. 

In order to get a better idea of the underlying 
distribution of this data set, we again used SOFM 
for exploring the data. A 15 x 7 map was selected 
from 10 different candidate maps with different 
sizes, using the quantization error as the selection 




Fig. 8. Display of a 15 x 7 hexagonal SOFM. The label of each 
unit coincides with the label of the closest image according to 
visual classification previously carried out by SOFM. 




Fig. 9. Three cluster centers obtained from FKCN (m = 1.5, 
stopping criterion £ = 10"* and 500 iterations). The number of 
particles assigned to the cluster is printed in the lower-right 
corner of each image. 



criterion. The resulting map was again trained in 
two phases. In the ordering phase the radius (Ro,) 
was set to 13 and initial learning rate (ao) was set to 
0.05. 1000 iterations were used. The fine-tuning 
phase was carried out with Rq set to 7, ao set to 0.03 
and 5000 iterations. Fig. 8 shows the distance 
matrix of the resulting map. 

The distance map suggested a distribution of the 
data in three apparently homogeneous clusters 
(light areas in the map). Group A obtained by 
visually clustering of the 7 x 7 map is clearly iso- 
lated in this 15x7 map, however. Group B seems 
to be composed by two different classes. We then 
clustered the data set with FKCN into three groups 
using m = L5, stopping criterion « = 10"* and 500 
iterations. Cluster centers obtained are shown in 
Fig. 9. Classification accuracy is also shown in 
Table 2. 

Analyzing the results of the algorithm with three 
clusters. It is clear that FKCN now correctly clus- 
tered Group A in SOFM, since this group is ac- 
counted for by cluster 3, however. Group B has 
been split into clusters 1 and 2. Then a question 
arises: why FKCN needed three clusters to "find" 
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this structure of the data? The answer can be found 
by analyzing the particles assigned to these clusters. 
The images from the three classes were indepen- 
dently realigned to obtain their average. Fig. 10 
shows the average innage and rotational spectra of 
subsets belonging to each cluster, Jn the case of 
cluster 3, a counterclockwise handedness is clearly 
observed which is in agreement with group A of 
SOFM. In the case of clusters 1 and 2 the average 
images show the same handedness (which in this 
case is clockwise) in agreement with Group B of 
SOFM. However, even if the handedness is the 
same for clusters 1 and 2, a deeper analysis reflects 
differences in the rotational symmetry spectra be- 
tween these two clusters. To be precise, both of 
them have a predominant 6-fold symmetry, but 



cluster 2, as oppose to cluster 1, is influenced by 
a noticeable 3-fold component. This very subtle 
difference could not be visually detected in the 
SOFM classification carried out in Ref. [19], and 
probably explains the need to use three clusters for 
the run of FKCN. Indeed, these new results indi- 
cate that there are two trends of variability in this 
data set, symmetry and handedness, that naturally 
were better handled by classifying the particles into 
three classes than into two. This small symmetry 
variation in the data set may also be the cause of 
misclassification obtained when using two clusters: 
symmetry was influencing the results more than 
handedness. 

3 J. Fuzzy c-means algorithm 
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Table 2 

Comparison between FICCN and SOFM in image classification, 
m ^ 1.5. r (iterations) = 500" 



FKCN 


SOFM 




Cluster 1 


Group B 


93.23% 


Cluster 2 


Group B 


96.15% 


Cluster 3 


Group A 


89.3% 



^Coincidence is defined as the percent of the images that were 
classified in the same classes by both, manual clustering of 
SOFM map and FKCN. 



Fuzzy c-means clustering algorithm (FCM) was 
also tested on both data sets in order to compare its 
performance with FKCN, In both cases several 
parameters were tried: fuzzy constant (ranging from 
l.l up to 5), iterations (ranging from 500 up to 
10000), termination criteria (stopping when cha- 
nges of cluster center values fell below 0.000001 and 
stopping when all iterations where completed), 
number of clusters (ranging from 2 up to 10) and 
different cluster centers initializations (random, 
zero and using the values of some randomly se- 
lected feature vectors). Not acceptable results were 
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Counterclockwise 



Cluster 3 





T 1* 1) 



Fig. 10. Average Images and rotational spectra of dusters derived by FKCN. 
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obtained. In the case of the rotational spectra, 
a great instability was observed when varying the 
fuzzy constant^ and only the 6- and 3-foId symmet- 
ries (which corresponded to the most populated 
groups) were approximately detected by the algo- 
rithm, while the rest of the clusters were erroneous- 
ly selected. When using the image pixels directly, 
FCM was unable to detect any cluster tendency, 
even with different parameters. In both cases an 
early termination was observed (changes at success- 
ive iterations fell below a threshold), meaning that 
the algorithm probably converged to a local min- 
imum far away from the optimal solution. 



4. Discussion and conclusion 

In this paper, a new fuzzy classification technique 
has been applied to the study of biological speci- 
mens by electron microscopy. This technique uses 
a special type of Neural Network named fuzzy 
kohonen clustering network that successfully com- 
bines the well-known self-organizing feature maps 
and the fuzzy c-means clustering technique. 

The need of classification tools suitable for work- 
ing with large sets of noisy images is evident in the 
electron microscopy field. In this work we have 
proposed a new approach which is the combination 
of two methods already applied in this context. The 
proposed method combines the ideas of fuzzy mem- 
bership values for calculating the learning rates, 
while it has the parallelism of FCM and the struc- 
ture of the update rules of SOFM, producing a 
robust clustering technique with a self-organizing 
structure. 

In this work we have stressed the importance 
of the selection of good parameters in SOFM, such 
as the size of the output grid. The experiments 
carried out showed that using small and square 
self-organizing map on large data sets might loose 
some details of the mapped probability density 
function (pdO, suggesting the use of a larger map to 
allow the "elastic network" formed of the code 
vectors to be oriented along with the pdf [10]. 
At the same time, large self-organizing maps are 
very useful for exploring the data sets and getting 
a better idea of the data distribution by showing 
the distances between neighboring neurons of the 



map [31,32] in the framework of exploratory data 
analysis. 

EDA is a set of tools for illustrating the intrinsic 
structure in any statistical data set, its main goal is 
to present a data set in a such a way that it can be 
easily understandable and at the same time pre- 
serve the essential information of the original data 
set. SOFM is a method that combines both, projec- 
tion and clustering, two very important features for 
exploration. However, even if in some cases the 
clustering structure is evident, the border between 
clusters is not easy to determine, for that reason in 
this work we proposed the use FKCN for the 
automatic extraction of clusters once we know the 
number of clusters in the data set by previous 
exploration. SOFM has been successfully applied 
in visually exploring large data sets in other context 
[32,33], but to the best of our knowledge; this is the 
first time that this kind of exploration is used in 
large image data sets. 

FKCN have been fully tested in this work using 
two kinds of data sets that are very common in 
many Electron Microscopy studies: the rotational 
power spectra and the images of individual par- 
ticles (In this case images of the G40P helicase were 
used). In both cases FKCN was able to discrimi- 
nate both, evident and subtle variation in the data 
set. It should be noted that detailed analysis like the 
one carried out in this work allows a finer charac- 
terization of big data sets. For instance, in the case 
of the rotational spectra where 10 apparent clusters 
were extracted, it is obvious that some of the clus- 
ters were produced by a wrong rotational align- 
ment of the images (clusters 4 and 6), the images 
assigned to those clusters could be re-aligned again 
to be used as part of other groups. Similarly, noisy 
images (the ones labeled with 1 or Noise) can defi- 
nitely be excluded from the population. Clusters 
like 5 and 9 could be merged because both of them 
represent 3-fold symmetric particles, although with 
some intrinsic differences. The same occurs with 
clusters 1 and 2 (6-fold symmetry), but the decision 
could be taken after a detailed analysis of those 
individual clusters. The results demonstrate the 
suitability of this method for working with these 
kind of high-dimensional and noisy data sets. 

It is important to note that FKCN can also be 
considered as an optimization algorithm like FCM, 
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SO the possibility of falling into local minimum 
before converging to the solution is present. How- 
ever, the experiments carried out in this work 
show that FKCN has properly converged in all 
the analyzed cases. On the contrary, FCM fell in 
a local minimum with these data. The explanation 
of this behavior can be found in the good properties 
of the self-organization structure of the FKCN 
algorithm. 

It is also important to point out that FKCN 
makes assumptions concerning the shape of the 
clusters. These assumptions are implicit in the dis- 
tance function used (hyperspherical shape if euclid- 
ean distance is used). However, in practical 
situations, the clusters* shape is not always hyper- 
spherical. Furthermore, the use of SOFM as a pre- 
vious exploration step before clustering might be 
problematic in some special cases due to the fact 
that the non-linear mapping carried out by SOFM 
might distort the real shape of the clusters. In future 
work several other clustering approaches are going 
to be explored to partially solve this problem, 
specially those that make no assumptions about the 
shape of the clusters. 

Comparing this clustering approach with others 
previously proposed in the field for structure-based 
classification, we should emphasize that this 
method, like SOFM, directly performs a classifica- 
tion (assignment of data to cluster centers), while at 
the same time offers a direct visualization by inspect- 
ing the cluster centers. Also, the fuzzy nature of the 
algorithm allows a better classification of input 
data to clusters, in this way confusing data (e.g. 
input vectors that fall in the border of two clusters) 
can be assigned to the one which higher fuzzy 
membership or they can even be excluded from the 
population to avoid classification mistakes. 

We propose that this type of neural computation 
approaches (self-organizing networks) properly 
combined with FKCN can be successfully em- 
ployed for exploration of data and classification in 
the electron microscopy field. 
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ABSTRACT 

Decisions in diagnostic cytology, whether made by 
human diagnosticians or expert systems, involve uncertainty. 
The study examines ways in which the design of a diagnostic 
expert system may consider uncertainty resulting from 
inherent randomness of a process— e.g., the expression of a 
diagnostic clue— and uncertainty attributable to the vagueness 
in the assessment of a diagnostic clue by the diagnostician. 
The appropriate use of probability theory, and of the theory 
of possibility for modeling either kind of uncertainty is 
discussed. 



INTRODUCTION 

Whether made directly by pathologists or by expert 
systems, real- world diagnostic decisions involve uncertainty. 
An important aspect of expert systems d^ign is developing a 
plausible model of human reasoning concerning uncertain 
situations. Consequently, expert systems research has become 
a focus for developing methods for handling uncertainty. 

There are many approaches for dealing with 
uncertainty [I]. The techniques used in expert systems are 
referred to as parallel certainty . inferences, because they 
involve calculating the uncertainty of an uncertain inference. 
These methods include, for example, Bayesian theory and 
Dempster-Shafer theory, which are based on probabilities, 
and certainty factors and endorsements, which are based on 
possibilities. 

PROBABILITIES AND POSSIBILITIES IN DIAGNOSIS 

At least two types of uncertainty must be considered in 
designing diagnostic expert systems: uncertainly in the 
diagnostic clues which results from inherent randomness and 
uncertainty attributable to vagueness or "fuzziness" in the 
diagnostician's perception or judgment. Probability theory is 
an appropriate basis for modeling the first type of 
uncertainty; fuzzy sets and associated theory of possibility 
are more appropriate for modeling the second type of 
uncertainty [2]. 

Probabilities and possibilities differ with respect to both 
their methods of assessment and their mathematical 
properties. Probability assessment is based on the concept of 
relative frequency, e.g., of the occurrence of a given 
pathologic condition. Possibility of membership in a fuzzy 
set is based on non-additive measures associated with the 
imprecision or vagueness that is characteristic of human 
perception and linguistic description. 



The treatment of fuzziness is a critical issue in 
knowledge representation. Saying that a diagnostic category, 
such as "moderately dysplaslic cell" in cervical cytology, is 
fuzzy implies that sometimes it is not possible to determine 
whether the category applies in a particular case. It is 
important to note that this indeterminacy is associated with 
some aspect of the attribute "moderately," not with lack of 
knowledge. It is this indeterminacy with which possibility 
theory is concerned. The fuzzy set approach provides a 
formal basis for representing and dealing with numerical and 
linguistic variables in a uniform way. This approach 
involves approximate reasoning, which consists of drawing 
conclusions by taking into account the consistency of the 
facts. 

The concepts of fuzzy sets, fuzzy logic and possibility 
theory are very useful in designing expert systems. In many 
cases, although the value of a particular attribute, such as 
"moderate," is not known precisely, it can be restricted by a 
possibility distribution which models the fact that certain 
values of the attribute are impossible (dysplasia absent, so 
moderate dysplasia is ruled out) and some values are more 
possible than others (such as in severe dysplasia). Fuzzy sets 
of elements necessarily having or not having a specified 
property and fuzzy sets of elements possibly having a 
specified properly can be defined easily in this framework. 
When the fuzzy evaluations of alternatives overlap, e.g., 
severe dysplasia and carcinoma in situ, it cannot always be 
determined that one allernative is definitely preferable to (or 
more likely than) another. However, it can be determined to 
what extent the fuzziness of the data prevents the complete 
ranking of a set of alternatives. 

The conceptual and mathematical foundations of the 
probabilistic and the possibilistic approaches are quite 
different. The probabilistic method requires the 
diagnostician to assess the probability that an event has a 
particular relative frequency of occurrence, based on his idea 
of the likelihood of the event. In contrast, in the fuzzy set 
theoretic approach an attempt is made to model the 
likelihood. Vagueness of categories, rather than probabilistic 
uncertainty, is used as the basis for assessing the degree to 
which a particular relative frequency is associated with the 
expert's concept of likelihood. 

While both possibilistic and probabilistic uncertainty are 
assessed on the range zero to one. they have different 
properties. The possibility associated with a subset is the 
maximum possibility of the elements in that subset. The 
probability associated with a subset is the sum of the 
probabilities associated with the elements in the subset. Also, 
the sum of the probabilities over a sample space must equal 
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one; in general, a sample space is not defined for 
possibilities. 

In fuzzy set theory, the approximation of continuous to 
discrete possibility distributions is a trivial matter; max and 
min operations are effected at discrete points, rather than 
continuously, as in the case of probability distributions. 
Thus, from a technical point of view, the mathematics 
required for dealing with the vagueness associated with 
fuzzy set theory is less involved than that required for 
obtaining Bayesian confidence intervals. 

To deal effectively wiih unceriainty and imprecision in 
designing diagnostic expert systems, both possibility and 
probability are needed. Several methods for each have been 
proposed; these include Bayesian theory and Dempsler-Shafer 
theory which are based on probabiiilies, and endorsements 
and certainty factors which are more compatible with a 
fuzzy set formulation of uncertainty. 

THE PROBLEM OF WEIGHING 
DIAGNOSTIC EVIDENCE 

Whether uncertainty is represented in terms of 
probabilities or possibilities, rules for weighing evidence pro 
and con a hypothesis must be specified. The Bayesian 
approach inherently permits consideration of both pro and 
con evidence in computing the probability- of an uncertain 
hypotheses. Essentially. Bayesian analysis provides a simple 
mathematical method for updating the probability of a 
hypothesis given the observation of a diagnostic clue. 
Unfortunately, in practical diagnostic situations the Bayesian 
assumptions of mutually exclusive and exhaustive hypotheses 
and conditional independence of the evidence in a hypothesis 
may often be difficult to justify. 

Bayesian analysis also has the limitation that it does not 
take into account uncertainty in the diagnostic evidence itself. 
It permits no uncertainty in the premise, only in the 
conclusion. Thus it is not possible to distinguish between a 
probability directly calculated from evidence and a 
probability indirectly inferred from an absence of evidence. 
For example, if no crowded glandular cells are observed in a 
colon tissue section, the diagnostician might conclude that the 
probability of a diagnosis of adenoma is. say, 0.02. On the 
other hand, if a patient belongs to a low risk category, the 
probability of adenoma may also be assessed as 0.02 on that 
basis. The two assessments are treated in the same way in 
Bayesian analysis, whereas in a fuzzy set analysis, they 
would be stated as diagnostic rules with associated 
attenuation factors. Also, a Bayesian probability combines 
reasons for believing with reasons for not believing, when it 
might be preferable to keep them separable. 

Dempsler-Shafer theory, like Bayesian theory, uses 
degree of belief to represent uncertainty. It differs from the 
Bayesian approach in that a distribution is constructed over 
subsets of hypotheses, rather than over an individual (single) 
hypothesis, thus making it possible to distinguish between 
uncertainty and ignorance, A rule for combining two pieces 
of evidence and their probability assignments (Dempster's 
rule) has been given; however, application of this rule, even 
in simple situations, has been shown to lead to complications 
[I. 3, 4]. Consequently, Dempsler-Shafer theory has not as 
yet been implemented in expert systems design. 

At least two approaches based on fuzzy sets and 
possibility theory have been implemented in expert systems: 
certainty factors are used in MYCIN and endorsements are 



used in SOLOMON. MYCIN was one of the first rule-based 
expert systems designed for medical diagnosis [3]; 
SOLOMON is still in the developmental stage [1]. Certainty 
factors were developed prior to endorsements, and 
endorsements can be viewed as an outgrowth of certainty 
factors; both represent degrees of belief. 

A certainty factor is a measure of the confidence that 
could be placed in any given conclusion as a result of the 
available evidence; it is defined as the difference between 
the measure of belief (MB) in the hypothesis given the 
evidence and the measure of disbelief (MD) in the hypothesis 
given the same evidence. For example, suppose the measure 
of belief in the diagnosis (hypothesis) of adenomn, given the 
observation of a diagnostic clue, is 0.8, while ihe measure of 
disbelief in the hypothesis of adenoma, given the ohservaiion 
of the diagnostic clue, is 0.3. Then the certainty factor 
associated with the hypothesis of adenoma, given observation 
of the diagnostic clue is 

CF th:e] « MB [h:e] - MD [hie] 
- 0.8 - 0.5 
-0.3 . 

Measures of belief and measures of disbelief range from 
0 to 1. Certainty factors range from -1 (completely false) to 
+ 1 (completely true), with zero representing ignorance. Thus 
the certainty factor represents a balancing of the evidence for 
and the evidence against the hypothesis. Note that this 
formulation does not distinguish between conflict of evidence 
(MB and MD both high) and lack of evidence (MB and MD 
both low). Note also that neither the certainty factor, the 
measure of belief, nor the measure of disbelief is a 
probability. These measures cannot be given any statistical 
interpretation, but provide a basis for grading hypotheses 
according to their strength of support. 

In combining certainty factors, the operations Min. Max 
and complementation correspond to "and," "or," and "not," 
respectively, just as in fuzzy logic. For example, suppose 

Rule A: If Diagnostic Clue A observed, then Adenoma 
Rule B: If Diagnostic Clue B observed, then Adenoma 

where 

CF (A) - 0.7 
CF (B) - 0.5. 

Then 

CF [Adenoma: A or B observed] » max [0.7, 0.5] - 0.7 
CF [Adenoma: A and B observed] - min [0.7. 0.5] - 0.5 . 

Shortliffe and Buchanan [3] provide, in addition, an 
updating formula for combining new information with 
previous results in a straightforward manner. The updating 
formula, in terms of certainty factors, is 

CF [h:el, e2] « CF (h:el] + CF [h:e2] x [I - CF [h:el]] . 

In the above example, 

CF [Aden: A. B] - CF [Aden: A] + CF [Aden: B] 
X [I - CF [Aden: A]] 

- 0.7 + [0.5 X 0.3] = 0.85 , 

or, equivalently 

= 0.5 + [0.7 X 0.5] - 0.85. 
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Measures of belief and measures of disbelief can be updated 
in the same way. 

This updating formula has two important properties: it is 
symmetric in the order of e! and e2, and it moves the 
certainly factor asymptotoically toward one as supporting 
evidence accumulates. Shortliffe's scheme also provides for 
the possibility that inference rules, as well as data, may be 
uncertain; each rule has an associated attenuation, between 0 
and K which indicates its reliability. 

In the model of endorsement* reasons for believing are 
positive endorsements and reasons for disbelieving are 
negative endorsements. Cohen [1] uses the analogy of a 
ledger book to illustrate the method of endorsement. The 
evidence pro and the evidence con a proposition are arranged 
in different columns. The accounting is done not by simple 
addition and subtraction, but on the basis of endorsements of 
the pieces of evidence. Weighing the evidence thus has two 
stages: deciding in which column a piece of evidence 
belongs* and doing the accounting of the evidence pro and 
con. Endorsements provide the information necessary for 
these operations. SOLOMON, which is in the early stages of 
development, is based on the model of endorsement and uses 
endorsements in reasoning atx)ut uncertainty and evidence. 



Two types of uncertainty must be considered in 
designing expert systems: probabilistic uncertainty, 
attributable to randomness, and possibilistic uncertainty, 
attributable to vagueness or imprecision of linguistic 
description. Bayes theory and Dempster-Shafer theory have 
been proposed for modeling probabilistic uncertainty; 
certainty factors and endorsements have been proposed for 
representing possibilistic uncertainty. Bayes theory and 
certainty factors have thus far been implemented in expert 
systems. 
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